Create  ソース  SEO Wiki  Index  Search  Changes  RSS  Login

Shim-Crawler

Shim-Crawler

shepherd.logos.k.u-tokyo.ac.jp からアクセスしてくる。あまり賢くなくて集中アクセスするとか、robots.txtで禁止しても来るという話があるらしい。

話題まとめ

http://computer.cre.jp/irc/2005/11/20051114.html#110000前後
Shim-Crawlerというbotが話題になっているらしい。

資料リンク

http://ow.bbclone.de/2005/10/23/unveiled-details-about-the-shim-crawler/
英語。近山・田浦研究室に連絡をとって尋ねてみたらしい。
Last modified:2005/11/20 12:41:32
Keyword(s):
References:[ウェブクローラー]
This page is frozen.