과거 경제 뉴스기사를 크롤링해서 현재 경제 상황과 비교분석하기

이번에는, 파이썬을 이용해서 과거 경제, 증시기사를 크롤링해보고 현재 상황과 비교분석해보겠습니다. 경제 혹은 주가를 전망할 수 없지만 과거에 우리가 위기일 때 어떤 기사들이 올라왔는지 분석해보는 것도 도움이 될 것 같네요. 

참고로 소스코드를 공개하여 상세히 설명해주시고, github에 올려주신 bumcrush님에게 감사합니다. 

 

1. 이 프로젝트를 하는 이유

     파이썬 코딩 감각을 익히고, 경제 흐름을 이해하기 위해서 시도하는 것인데, 지난번 '유튜브 조회수가 시장 심리로 활용될 수 있을까'에 이은 2번째 사이드 프로젝트입니다.

     현재 대내적으로 미래 경기 방향을 예고하는 선행지수순환변동치는 추세적인 하락세가 이어지고 있는 가운데 고금리, 고물가, 고환율, 가계부채, 부동산, 저축은행 PF 이슈가 있고, 대외적으로 연준의 금리인상, 러시아 우크라이나 전쟁으로 인한 에너지 수급 차질과 식량 등 산업생산 회복 지연, 엔저현상, 유럽 이슈(파운드화 폭락에 따른 영란은행 채권 시장 개입, 크레딧스위스발 위기), 시진핑의 3연임으로 인한 중국의 향후 미국과의 패권 전쟁 등의 리스크가 산재한 상황입니다. 아직 터지진 않았지만 여러 리스크가 곳곳에 산재해 있는 만큼 우리 금융당국에서 적절히 잘 대응할 것이라 믿어 의심치 않습니다만, 개개인도 리스크에 분명 대비하고 있어야 한다고 생각합니다.      

     이런 관점에서 아래 그림과 같이 2008년 10월 금융위기 상황 즉 코스피가 역대급 저점당시 네이버 뉴스에서 경제와 관련된 키워드로 크롤링해 일목묘연하게 주요 기사를 파악하고, 현재 상황과 비교 분석하고자 합니다. 

2008년 10월 27일 코스피 일봉

 

 

2. 코딩 환경 및 소스코드 

     코딩 테스트 환경은 맥북에어(m1)에서 파이참을 통해 테스트 하였습니다. 맥북에서 파이참/아나콘다 세팅 과정은 (여기)를 참고하시기 바랍니다. 요즘은 과거에 비해 정말 코딩 내용을 쉽게 구할 수 있습니다. 조금만 관심을 가지면 구글링을 통해 원하는 내용을 얻어올 수 있는데요, 서두에 언급한  bumcrush 블로그에 방문하면 소스코드 내용을 전체로 확인할 수 있고 함수 선언부터 전체적인 코드 내용에 대해 상세히 설명을 해주셨습니다. 

코드 내용 일부

     이 코딩 내용은 네이버 뉴스를 키워드 검색, 검색 시작일자, 검색 종료일자 등을 입력하면, 크롤링하여 뉴스 게시 일자, 제목, 언론사, 소스(일부발췌), 뉴스기사링크주소 등을 csv파일로 저장하는 프로그램입니다. 해당 프로그램은 아래 소스코드 깃허브에 링크해두었습니다. 

 

 

3. 2008년 금융위기 당시 네이버 뉴스기사 크롤링 

    2008년 10월 27일 코스피가 892포인트로 최저점을 형성 했는데 이 당시 또는 하루 전 네이버 뉴스에 게시되었던 뉴스기사 중 '경제', '증시', '개인투자자', '금융', '환율', '금리', '부동산', '미분양' 8가지 키워드로 뽑아 보았습니다. 참고로 아래는 게시날짜와 기사제목만을 발췌하였습니다.

• 경제

경제 키워드

• 증시

증시 키워드

• 개인투자자

개인투자자

• 금리

금리

• 환율

환율

• 채권

채권

• 부동산

부동산

• 미분양

미분양

 

     2008년 금융위기 당시 코스피가 가장 최저점일 때 제가 생각한 주요 키워드를 뽑아서 확인해보니 정작 큰 위기가 왔을 때 이렇게나 힘들고 부정적인 상황이 뉴스 기사에서도 명확히 보여지는데, 지금 현재 상황과 비교하면 차이가 있다는 것이 명확히 드러납니다. 그렇다는 건 어쩌면 아직 리스크가 터지기 전인 상황, 정작 위기는 아직 오지 않았을 가능성도 있어 보입니다. 

     일단 위기가 온다면, 금융당국에서 금리를 인하하여 경제를 부양해야 하는데, 지금은 그런 조치가 없는데 2007년 ~ 2008년 대한민국 기준금리를 확인하면 2007년 8월 부터 기준금리가 5.0%인상하여 약 11개월간 유지하다가 금융위기 이후 2008년 10월 1%포인트 인하하여 4.25%, 2008년 11월 4.00%로 2008년 12월 3%로 급속하게 인하 하는 것을 확인할 수 있습니다.  

기준금리 통계표 : 출처 한국은행

   

코스피 주봉

     2008년 10월 부터 금리 인하가 급속하게 이러우진 뒤 11월 부터 코스피는 저점을 다지고 반등을 하다 다시 한번 하락을 한 뒤, 2009년 3월부터 본격적으로 상승 랠리를 하기 시작합니다. 

 

 

4. 생각해볼점 

     과거를 보고 어떤 일이 있었는지 파이썬 언어로 크롤링 해서 확인해 보았습니다. 네이버나 구글에서 과거 기사를 노가다로 찾는 것이 매우 귀찮았는데, 아주 유용하게 짧은 시간에 네이버 뉴스 기사를 검색해서 한눈에 파악 할 수 있었습니다.

     그런데, 이와 같은 행위는 미래를 예단하거나 앞으로 어떻게 될 것이다 전망하는 게 아닙니다. 과거를 분석하여 과거에 어떤 일이 있었는지, 얼마나 공포스러웠는지, 무엇을 알아야 하는지 배우고 확인하는 차원입니다. 앞으로 우리에게 어떤 경제 위기가 올것인지 얼마나 길어질지는 전혀 알 수 없고 누구도 맞출 수 없는 신의영역역 이기에 우리는 확률적으로 그저 대응하고 투자해야 합니다. 

     위기는 우리에게 반드시 두려움과 동시에 부자가 될 수 있는 선택권을 줄 것입니다.  

 

 

5. 소스코드 깃허브

https://github.com/sbomhoo/naver_news_crawling

GitHub - sbomhoo/naver_news_crawling: 네이버 뉴스 리스트 크롤링 (naver news crawling)