Robots.txt & Sitemap
バリデーター

Robots.txt は Web サイトのルートディレクトリに置くテキストファイルで、Googlebot などの検索エンジンクローラーに対し、クロールしてよいページと避けるべきページを伝えるために使います。検索エンジンがサイトをインデックスしようとすると、まず確認するのが /robots.txt robots.txt の有無を確認し、記載されたルールに基づいてクロール動作を判断します。「User-agent」で対象クローラーを指定し、「Disallow」と「Allow」でアクセス権限を制御します。robots.txt はあくまで「紳士協定」であり、セキュリティ機構ではない点に注意してください。悪意のあるプログラムはこれらのルールを無視できます。

Sitemap.xml（サイトマップ）は Web サイト内の重要なページ URL を列挙する XML ファイルで、さらに lastmod（最終更新日）、changefreq（更新頻度）および priority（priority）などのメタデータ。SEO において Sitemap は検索エンジンがページをより早く発見・インデックスする助けとなり、新規サイト、大規模サイト、更新頻度の低いサイトでは特に有効です。Google Search Console へ Sitemap を送信することで、インデックス効率を大きく改善できる場合があります。

robots.txt に次が含まれる場合 Disallow: /、つまりすべてのパスがブロックされ、検索エンジンが Web サイト内のどのページもクロールできなくなります。その結果、① Web ページが検索結果から消える、またはインデックスされない、② すでに登録済みのページが削除される可能性がある、③ Google 検索結果からサイト内容を確認できなくなる、といった問題が起きます。Web サイトのメンテナンス中など、特定の状況で一時的にのみ使用し、必ず次と組み合わせることを強く推奨します Allow: / 細かな制御用ルールです。SEO penalty の調査や test をしたい場合に利用します。 noindex 代わりに meta タグを使用します。

すべてのページを含める必要はありませんが、検索エンジンにインデックスしてほしい重要なページは含めることを推奨します。Google の仕様では、1 つの Sitemap ファイルに最大 50,000 URL を含められ、圧縮前サイズは 50MB を超えないようにする必要があります。サイトがこの上限を超える場合は、Sitemap Index（インデックスファイル）を使用して複数のサブ Sitemap をまとめます。一般的な推奨事項：① 高品質で独自性のあるコンテンツページを優先して含める、② タグページ・カテゴリページ・フィルターページなどの重複コンテンツは除外する、③ 管理画面やログインページは含める必要がない、④ サイトの最新内容を反映するため Sitemap を定期的に更新する。

Robots.txt と Sitemap は相互補完する SEO ツールです。Robots.txt は「クローラーに行ってほしくない場所」を制御し、Sitemap は「重要なコンテンツがある場所」を伝えます。推奨される使い方は、① robots.txt で Sitemap: この指定で sitemap.xml の場所を示すと、クローラーがサイトマップを直接見つけられます。② sitemap に robots.txt でブロックされた URL が含まれていないことを確認してください。含まれている場合、クローラーは先に robots.txt を読み、禁止されていることを確認すると、sitemap 内の該当 URL を無視します。③ robots.txt で管理画面や一時アーカイブなどの機密性の高い領域を保護し、sitemap では高品質なコンテンツを送信します。両者を併用することで、検索エンジンのクロール効率を最大化できます。

次の方法で確認できます。① ブラウザから直接アクセスする https://你的網域/robots.txt および https://你的網域/sitemap.xml 元の内容を確認します。② このツールの「Paste Content」モードに内容を貼り付けて分析します。③ Google Search Console の「Page Index」と「Sitemaps」レポートで公式の検出結果を確認します。④ Google の「Robots Testing Tool」で特定 URL がブロックされているかテストします。このツールでは、データ漏えいを心配せずにオフライン確認とリアルタイム確認を行えます。

これらのタグは SEO に役立ちます。① lastmod（最終更新日）— Google はこの日付を参考にページが更新されたか判断します。特に news や頻繁に更新される Web サイトでは重要です。② changefreq（更新頻度）— ページがどの程度の頻度で変更される可能性があるかを示します。ただし Google は、この値はあくまで参考情報であり、実際のクロール頻度はアルゴリズムによって決まると説明しています。③ priority（Priority 0.0～1.0）サイト内の他ページと比較した重要度を示します。Google は priority と changefreq は現在ランキング要因ではないと明言していますが、lastmod を正しく設定することは、クローラーがサイトをより効率的に巡回する助けになります。