목록문서수집 (1)
길이 이야기(Giri's Story)
검색로봇, 웹수집기 - 어떤 크롤러들이 내 홈페이지에 들어올까?
홈페이지나 개인 블로그를 운영하는 사람이라면 누구나 한번쯤 어떻게 포털이나 검색사이트에 내 포스팅이나 글들이 검색되는 것일까 궁금해 본적이 있을 것이다. 물론 블로그의 경우 RSS란 공개된 정보를 수집하는 메타블로그사이트에 의해 수집되는 경우도 많은데 블로그의 RSS 데이터가 없는 일반 사이트의 경우는 어떻게 수집되는 것일까? 검색로봇, 검색엔진~이라는 용어를 한번쯤을 들어보았을 것이다. 검색엔진이라는 용어는.. 수집기의 개념이 아닌... 수집이 완료된 정보를 사용자가 검색했을 경우 어떻게 효율적으로 결과를 보여줘야 하는지에 포커스가 맞춰져 있고... 오늘 이야기할 검색로봇, 웹수집기, 웹크롤러(WebCrawler) 라는 놈에 대해서 살펴보기로 하자. 검색로봇은 쉽게 이야기하면 이 드넓은 인터넷 공간을 ..
IT기술,개발/웹프로그래밍
2009. 4. 7. 13:13