Robots.txt Generator Robots.txt 產生器

robots.txt 是放置在網站根目錄的純文字檔案，用來告知搜尋引擎爬蟲（如 Googlebot、Bingbot）哪些頁面可以抓取、哪些不應該抓取。

幾乎所有正式上線的網站都應該擁有 robots.txt，原因如下：

• 控制抓取預算（Crawl Budget）— 引導爬蟲專注於重要頁面
• 避免敏感內容被索引 — 管理後台、購物車等不該出現在搜尋結果
• 宣告 Sitemap 位置 — 幫助搜尋引擎更快發現所有頁面
• 降低伺服器負載 — 阻止爬蟲抓取無意義的頁面

💡 注意：robots.txt 是「禮貌性協定」，並非強制安全機制。真正需要保護的頁面應使用登入驗證或 noindex 標籤。

Disallow 告訴爬蟲「此路徑不要抓取」；Allow 告訴爬蟲「此路徑可以抓取」。

上述規則表示：禁止抓取 /admin/ 與 /private/ 開頭的路徑，但允許 /images/（即使它位於被封鎖的目錄內）。

💡 Allow 常用於「先封鎖大範圍，再開放特定子目錄」的場景，例如封鎖 /wp-content/ 但開放 /wp-content/uploads/。

在 robots.txt 中宣告 Sitemap: 指令有兩個主要好處：

• 加速發現 — 搜尋引擎爬取 robots.txt 時會立即得知 Sitemap 位置，更快發現新頁面
• 提升索引效率 — 特別是新網站或大型網站，Sitemap 能確保所有重要頁面都被考慮索引

Sitemap 指令格式：Sitemap: https://example.com/sitemap.xml，可重複多行宣告多個 Sitemap 檔案。

💡 建議每個網站都在 robots.txt 中宣告 Sitemap，這是低成本、高效益的 SEO 最佳實踐。本工具會在有宣告 Sitemap 時顯示通過，否則顯示提醒。

Crawl-delay 告訴爬蟲「每次請求之間應等待幾秒」，用於減輕伺服器負載。

• Google 不支援 Crawl-delay 指令，改用 Search Console 的「抓取頻率」設定控制
• Bing（Bingbot） 支援，但建議僅在伺服器負載過高時使用
• Yandex 與 Baidu 支援此指令

💡 一般網站（流量正常、頁面載入快速）不需要設定 Crawl-delay，因為它可能減慢頁面的被索引速度。僅在伺服器負載過高時才建議使用。

以下是網站管理者最常犯的 robots.txt 錯誤：

• 不小心封鎖整站 — 撰寫 Disallow: / 且沒有 Allow 規則，導致所有頁面都無法被索引（最嚴重！）
• 路徑未以斜線開頭 — 正確格式為 Disallow: /admin/，缺少前導斜線會被忽略或誤解
• 大小寫錯誤 — user-agent、disallow 為小寫；某些爬蟲對大小寫敏感
• 重複規則 — 相同路徑重複宣告，造成維護困難與潛在衝突
• 多組相同 User-agent — 搜尋引擎只會採用第一組同名規則，後面的會被忽略
• 使用 robots.txt 做安全防護 — 它只是禮貌性協定，無法阻止惡意存取

💡 本工具的驗證功能會自動檢查上述問題，並以錯誤／警告的方式提示。

robots.txt 必須放置於網站的根目錄，且檔名必須是 robots.txt：

• 正確：https://example.com/robots.txt
• 錯誤：https://example.com/robots/robots.txt（子目錄不會被搜尋引擎採用）

部署方式：

1. 使用本工具設定規則並下載 robots.txt
2. 透過 FTP / 主機管理面板上傳至網站根目錄
3. 使用瀏覽器開啟 https://您的網域/robots.txt 確認內容正確
4. 如需驗證，可使用 Google Search Console 的「robots.txt 測試工具」

完全安全！Robots.txt Generator 是一個 100% 純前端工具：

• ✅ 所有規則產生、驗證都在您的瀏覽器中完成
• ✅ 不會將任何規則或網址上傳至伺服器
• ✅ 不需要註冊、登入或安裝任何軟體
• ✅ 載入後可完全離線使用
• ✅ 不會儲存您的任何設定

💡 即使是尚未發布的網站結構或內部路徑，也可以完全放心地在此產生規則。