스크래핑1 [Web] 스크래핑 vs 크롤링 스크래핑(Scraping) 웹 사이트 상에서 원하는 정보를 추출하는 기술 스크래퍼는 특정 웹 사이트 또는 페이지에서 특정 데이터를 추출하는 프로세스이다. 스크래핑을 수행하기 위해서는 먼저 필요한 정보를 찾기 위해 웹 크롤링 같은 작업을 수행해야 한다. 즉, HTTP를 통해 웹 사이트의 내용을 추출하여 원하는 형태로 가공하는 것이다. 쉽게 말해 웹 사이트의 데이터를 수집하는 모든 작업을 뜻한다. ex) 주식 시장 데이터, 비즈니스 리드, 공급업체 제품 크롤링도 일종의 스크래핑 기술이라고 할 수 있다. 크롤링(Crawling) 웹 크롤러(자동화 봇)가 일정 규칙으로 웹 페이지를 브라우징 하는 것 크롤러란 조직적, 자동화된 방법으로 월드와이드 웹(WWW)을 탐색하는 컴퓨터 프로그램이다. 크롤링은 크롤러가 하는.. 2021. 8. 24. 이전 1 다음