크롤링

크롤링(Crawling) 혹은 스크래핑(Scraping)은 웹 페이지의 정보를 그대로 가져와서 데이터를 가져오는 행동을 밀한다.

크롤링 기술

별도 소프트웨어

• 셀레늄(Selenium) - 브라우저용 웹드라이브 엔진을 실행시켜서 이 엔진 기반으로 정보를 크롤링할 수 있는 도구이다.

예시

• 나무위키 - 리그베다 위키를 크롤링해서 만든 위키이다.
• 바다위키, 알파위키(이전), 더위키 - 나무위키를 크롤링해서 만든 위키이다.
• 큰숲백과 - 오사위키의 데이터를 크롤링해서 만들었다. 이후 위키 서술방식을 정보 서술 위키로 전환하면서 현재는 일부 내용만 존재한다.