[Web] 스크래핑 vs 크롤링

스크래핑(Scraping)

웹 사이트 상에서 원하는 정보를 추출하는 기술

스크래퍼는 특정 웹 사이트 또는 페이지에서 특정 데이터를 추출하는 프로세스이다.

스크래핑을 수행하기 위해서는 먼저 필요한 정보를 찾기 위해 웹 크롤링 같은 작업을 수행해야 한다.

즉, HTTP를 통해 웹 사이트의 내용을 추출하여 원하는 형태로 가공하는 것이다. 쉽게 말해 웹 사이트의 데이터를 수집하는 모든 작업을 뜻한다.

ex) 주식 시장 데이터, 비즈니스 리드, 공급업체 제품 

크롤링도 일종의 스크래핑 기술이라고 할 수 있다.

 

크롤링(Crawling)

웹 크롤러(자동화 봇)가 일정 규칙으로 웹 페이지를 브라우징 하는 것

크롤러란 조직적, 자동화된 방법으로 월드와이드 웹(WWW)을 탐색하는 컴퓨터 프로그램이다.

크롤링은 크롤러가 하는 작업을 부르는 말로, 여러 인터넷 사이트의 페이지(문서, html 등)를 수집해서 분류하는 것이다.

크롤러는 Google, Bing 등과 같은 검색 엔진에서 URL의 콘텐츠를 추출하고, 이 페이지에서 다른 링크를 확인하고, 링크의 URL을 가져오는 데 주로 사용된다.

크롤링은 일반적으로 Google, Yahoo, Bing 등이 어떤 종류의 정보를 검색하는 방식이다.

크롤링에는 웹 페이지의 모든 키워드, 이미지 및 URL을 저장하는 것과 같은 특정 수준의 스크래핑이 필요하다.

대체로 찾아낸 데이터를 저장한 후 쉽게 찾을 수 있게 인덱싱한다.

 

전형적인 차이점

지속적으로 혼자 동작할 수 있으면 크롤링, 멈추면 스크래핑이다.

 

참고

• https://aftersiesta.tistory.com/8
• https://kamang-it.tistory.com/entry/PythonCrawlingScraping%ED%81%AC%EB%A1%A4%EB%A7%81%EA%B3%BC-%EC%8A%A4%ED%81%AC%EB%9E%98%ED%95%91-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%EC%9B%90%EB%A6%AC1