데이터 크롤링

 데이터 크롤링?

 인터넷을 포함한 데이터가 방대해 지면서 그 것을 활용할 필요서이 높아졌습니다. 그런 정보들을 사용자가 분석하기 쉽게 끔 데이터를 수집하는 행위를 크롤링이라 하고 크롤링 하는 프로그램을 크롤러 라고 말합니다. 

 

크롤링의 원리 

웹페이지는 HTML 문서로 작성이 되어 있고 이를 참조할 수 있는 CSS파일과 상호작용을 위한 JS파일로 이루어져 있는데 이런한 웹페이지 구성의 TAG 형식을 찾아서 원하는 데이터를 뽑아내는 것을 크롤링이라 합니다 물론 다른 언어에서 크롤링은 가능하지만 파이썬 모듈을 통한 크롤링을 포스팅에서 다뤄보려 합니다