robots.txtの書き方

• ドメインのルートディレクトリに robots.txt を置く。

基本

User-agent: エージェント名

Disallow: /cgi-bin/

cgi-bin以下をアクセス拒否表明。

アクセス間隔

Crawl-delay: 20

20秒間隔でアクセス。

• 少なくともYahoo!と百度のCrawlerは対応している。

Sitemaps

Sitemap: http://drupal.cre.jp/gsitemap

のように書けばXMLサイトマップを指定できる。

• Robots Exclusion

• robotはぢきについて
• Yahoo!ヘルプ - 検索エンジン用ロボットからのリクエスト数を減らすには

• ノウハウ