크롤링

크롤링은 기존의 웹사이트에 저장된 데이터를 가져오거나 데이처를 추출하는 일련의 작업을 의미한다.

사용가능한 도구[편집 | 원본 편집]

파이썬[편집 | 원본 편집]

  • BeautifulSoap
  • Selenium - HTML을 긁어오는 방식이 아닌 직접 브라우저를 가상환경을 통해 실행시키는 방식을 사용한다. 키매크로로도 활용할 수 있는 장점이 있지만 브라우저를 띄우는 방식이기에 속도가 매우 느린 것이 단점.
  • Requests
  • httrack