검색엔진 봇

웹 크롤링과 웹 크롤러 봇

웹 크롤링 웹 사이트에 있는 데이터를 추출해서 사용하기 위한 목적으로 홈페이지 내용을 수집하고, 추출하는 것 특정한 규칙에 맞춰서 웹 페이지에 방문해서 내용에 포함된 데이터를 가져오는 것이다. 요약 : 사용자가 검색해서 결과로 나온 정보를 노트에 써놓는 것과 비슷한 행동을 프로그램이 반복해서 저장하도록 만드는 것 웹 크롤러 봇 스파이더, 검색 엔진 봇이라고도 한다. 인터넷에서 콘텐츠를 다운로드하고 색인을 생성하여 웹 페이지가 무엇에 대한 것인지를 파악하고, 필요할 때 정보를 추출하기 위해 존재한다. 검색 엔진은 웹 크롤러가 수집한 데이터에 검색 알고리즘을 적용한다. 예를 들어, 구글에서 검색 키워드를 입력하면 보여지는 결과는 이러한 방식으로 수집되어 보여지는 것! 웹 크롤러 봇은, 마치 도서관 사서와 비..