Robots.txt Generator Robots.txt ジェネレーター

robots.txt Web サイトのルートディレクトリに置くプレーンテキストファイルで、Googlebot や Bingbot などの検索エンジンクローラーに指示を伝えます。どのページを crawl し、どのページを crawl しないかを指定します。。

正式公開するほぼすべての Web サイトに robots.txt を用意すべき理由は次のとおりです：

• クロール予算を制御（Crawl Budget）— crawler を重要ページへ集中させます。
• 機密性の高いコンテンツがインデックスされないようにします — Admin、shopping cart など、検索結果へ出す必要がないページに利用します。
• Sitemap の場所を宣言 — 検索エンジンがすべてのページをより早く発見できるようにします
• サーバー負荷を軽減 — crawler が意味のない page を crawl しないようにします。

💡 注意: robots.txt は「紳士協定」であり、強制力のあるセキュリティ機構ではありません。本当に保護が必要なページでは、ログイン認証や適切な noindex 設定などを使用してください。

禁止 クローラーに「このパスをクロールしない」と伝えます。許可 クローラーに「このパスはクロール可能」と伝えます。

上の rule は、crawling を禁止することを意味します。 /admin/ 付き /private/ で始まるパス。ただし許可されます /images/（ブロックされたディレクトリ内にあっても）。

💡 Allow は、「広い範囲を一度ブロックして、その中の特定 subdirectory だけを許可する」場面でよく使われます。たとえば /wp-content/ をブロックしつつ /wp-content/uploads/ を許可するケースです。

robots.txt に宣言 Sitemap: ディレクティブには主に2つの利点があります：

• 検出を高速化 — 検索エンジンが robots.txt を crawl すると、Sitemap の場所をすぐ把握でき、新しい page をより早く発見できます。
• インデックス効率を改善 — 特に新しいサイトや大規模サイトでは、Sitemap によって重要なページがすべてインデックス候補として認識されやすくなります。

Sitemap ディレクティブ形式:Sitemap: https://example.com/sitemap.xml, 複数行を繰り返して複数の Sitemap file を宣言できます。

💡 すべての Web サイトで robots.txt に Sitemap を宣言することをおすすめします。低コストで効果の高い SEO の基本施策です。このツールは Sitemap 宣言があれば合格、なければ注意を表示します。

Crawl-delay クローラーに「各リクエストの間に何秒待つか」を伝え、サーバー負荷を軽減します。

• Google Crawl-delay コマンドには対応していません。代わりに Search Console のクロール関連設定を利用してください。
• Bing（Bingbot） 対応していますが、server load が高すぎる場合にだけ使用することをおすすめします。
• Yandex と Baidu このコマンドに対応

💡 通常のアクセス量でページ表示が速い一般的な Web サイトでは、Crawl-delay を設定する必要はありません。クロールとインデックス登録を遅らせる可能性があるため、サーバー負荷が高すぎる場合に限って検討してください。

Web サイト管理者が犯しやすい robots.txt の代表的なミスは次のとおりです：

• 誤ってサイト全体をブロックしました — 書き込み Disallow: / さらに Allow ルールもない場合、すべてのページがインデックスされなくなります（最も重大なケースです）。
• Path がスラッシュで始まっていません — 正しい形式は Disallow: /admin/、先頭のスラッシュがない場合は無視されるか、誤って解釈されます
• 大文字小文字が不正です — user-agent、disallow は小文字です。一部のクローラーは大文字・小文字を区別します
• 繰り返しルール — 同じ path を繰り返し宣言すると、保守が難しくなり、競合の原因になる可能性があります。
• 同一 User-agent のグループが複数あります — 検索エンジンは同じ名前のルールが複数ある場合、最初のセットだけを使用し、それ以降を無視する場合があります。
• セキュリティ保護に robots.txt を使用する — 単なる協調ルールであり、悪意ある access を防ぐ仕組みではありません。

💡 このツールの検証機能は上記の問題を自動確認し、error／warning として通知します。

robots.txt は Web サイトに配置する必要がありますルートディレクトリ、またファイル名は次の条件を満たす必要があります robots.txt：

• 正しい例：https://example.com/robots.txt
• エラー：https://example.com/robots/robots.txt（サブディレクトリは検索エンジンに使用されません）

デプロイ方法：

1. このツールでルールを設定してダウンロードできます robots.txt
2. FTP / hosting management panel から Web サイトの root directory へ upload します。
3. ブラウザで開く https://您的網域/robots.txt 内容が正しいことを確認
4. 確認する場合は Google Search Console の「robots.txt Test Tool」を利用できます

完全に安全です！Robots.txt Generator は 100% 純粋なフロントエンドツール：

• ✅ すべての rule 生成と検証はブラウザー内で完結します。
• ✅ ルールや URL がサーバーへアップロードされることはありません
• ✅ 登録、login、software installation は不要です。
• ✅ 読み込み後は完全に offline で利用できます。
• ✅ 設定内容は一切保存されません

💡 未公開の site structure や internal path も、外部送信せずここで生成できます。