Shim-Crawler
Shim-Crawler
shepherd.logos.k.u-tokyo.ac.jp からアクセスしてくる。あまり賢くなくて集中アクセスするとか、robots.txtで禁止しても来るという話があるらしい。
話題まとめ
- http://computer.cre.jp/irc/2005/11/20051114.html#110000前後
- Shim-Crawlerというbotが話題になっているらしい。
資料リンク
- http://ow.bbclone.de/2005/10/23/unveiled-details-about-the-shim-crawler/
- 英語。近山・田浦研究室に連絡をとって尋ねてみたらしい。
Keyword(s):
References:[ウェブクローラー]