길이 이야기(Giri's Story)
[UNITALK] php, mysql, magpie + snoopy Class를 이용한 RSS Feed수집기 본문
PHP를 이용하여 RSS(xml) FEED 수집기를 만들어 보았습니다.
*사용언어 : apache + php + mysql
*사용 class : magpie + snoopy
*작업기간 : 약 10 여일
웹프로그램을 사용하여 만들었기 때문에 문자셋 제약(완성형-CP949, UTF-8)을 받지 않으며, 원하는 문자셋으로 저장이 용이합니다.
magpie는 xml 타입의 rss를 분석하는 용도로 사용되며, snoopy는 원격에 있는 이미지 데이터를 로컬서버로 저장하는 용도로 사용됩니다.
아직까지는 1대의 서버에서만 정보를 수집하여 가공한 후 DB서버로 원하는 정보를 패킷으로 쏘아주는 역할을 하며, 다중화 서버에 대한 부분은 작업되지 않았고... 앞으로 사용하면서 부족한 부분은 보충해야 할 것 같습니다.
아래는 수집기 작동 모습입니다.
[▶] 버튼을 누르시면 재생됩니다.
수집서버의 네트웍 상태만 양호하다면 각 소켓들의 타임아웃 처리를 하고 있기때문에 장애발생시 무시하고 넘어가도록 설계되어 있습니다. 하지만 수집서버의 네트웍이 불안정할 경우 이상증상이 발생할 수 있습니다.
magpie 또는 snoopy, 패킷과 관련된 공부를 하시는 분들과 정보를 공유했으면 합니다.
문의사항 있으시면 코멘트 남겨주세요.
'IT기술,개발 > 웹프로그래밍' 카테고리의 다른 글
| 타디스, 웹페이지도 액티브하게! 실시간 모니터링 웹관리자, apache + php + mysql + ajax + snoopy (0) | 2009.06.17 |
|---|---|
| [오픈베타] 타디스(Tadis) - SMS문자게임 & 문자정보 (10) | 2009.06.16 |
| 09.04.21 - Yahoo! Korea. PHP 최적화 및 보안강화 세미나 (6) | 2009.04.22 |
| [무료세미나] PHP 성능 최적화 및 보안강화 , Rasmus Lerdorf (0) | 2009.04.14 |
| 검색로봇, 웹수집기 - 어떤 크롤러들이 내 홈페이지에 들어올까? (18) | 2009.04.07 |
| 내 홈페이지에 "비만도 측정(BMI체크) " 달기 (2) | 2009.02.16 |
| 자주 사용하는 유용한 function - 넘어온 값(request) 확인 (0) | 2008.11.04 |
| 깜찍한 tuzki 이모티콘, 홈페이지에 달다 (1) | 2008.10.22 |
| 별자리 이야기 서비스 오픈 (0) | 2008.10.22 |
| 내 블로그에 "오늘의 추천 명언" 달기 (7) | 2008.03.10 |
'IT기술,개발/웹프로그래밍' Related Articles
more
Comments