Robots.txt & Sitemap Validator

Robots.txt & Sitemap
Validator

專業的 robots.txt 與 sitemap.xml 驗證工具。分析規則衝突、格式錯誤、封鎖問題, 提供 SEO 評分、改善建議與即時驗證 — 完全在瀏覽器中處理,保障資料安全。

常見問題 FAQ

關於 Robots.txt 與 Sitemap 的常見問題

Robots.txt 是一種存放於網站根目錄的文字檔案,用來告訴搜尋引擎爬蟲(如 Googlebot)哪些頁面可以抓取、哪些頁面不應該抓取。當搜尋引擎要索引你的網站時,會首先檢查 /robots.txt 是否存在,並根據其中的規則決定抓取行為。它使用「User-agent」指定目標爬蟲,並用「Disallow」和「Allow」來控制存取權限。需要注意的是,robots.txt 是一種「君子協定」,並非安全機制 — 惡意程式仍然可以無視這些規則。
Sitemap.xml(網站地圖)是一個 XML 檔案,列出了網站上所有重要頁面的 URL,並可附加 lastmod(最後修改日期)、changefreq(更新頻率)和 priority(優先級)等元數據。對於 SEO 來說,sitemap 幫助搜尋引擎更快發現和索引你的頁面,尤其是新網站、大型網站或內容更新不頻繁的網站。提交 sitemap 到 Google Search Console 可以顯著提升網站的索引效率。
如果 robots.txt 中包含 Disallow: /,代表封鎖所有路徑,搜尋引擎將無法抓取網站上的任何頁面。這會導致:① 網站頁面從搜尋結果中消失或不被索引;② 已收錄的頁面可能被移除;③ Google 搜尋結果中看不到你的網站內容。嚴重建議只在特定情況下暫時使用(如網站維護期間),並務必搭配 Allow: / 規則來精細控制。如果你的網站正在被 SEO 懲罰或想要測試,請使用 noindex meta 標籤代替。
不需要包含所有頁面,但建議包含你希望被搜尋引擎索引的重要頁面。Google 規範指出單一 Sitemap 檔案最多包含 50,000 個 URL,且壓縮後大小不得超過 50MB。如果你的網站超過這個數量,需要使用 Sitemap Index(索引檔),將多個子 Sitemap 彙整成一個索引。通常建議:① 優先包含高品質、獨特的內容頁面;② 排除標籤頁、分類頁、篩選頁等重複內容;③ 不需要包含管理後台或登入頁面;④ 定期更新 sitemap 以反映網站的最新內容。
Robots.txt 和 Sitemap 是互補的 SEO 工具。Robots.txt 控制「爬蟲不該去哪裡」,而 Sitemap 告訴爬蟲「哪裡有重要內容」。最佳實踐是:① 在 robots.txt 中使用 Sitemap: 指令指向 sitemap.xml 位置,讓爬蟲直接找到網站地圖;② 確保 sitemap 中沒有包含 robots.txt 已封鎖的 URL(否則爬蟲會先讀取 robots.txt 發現被禁止,然後忽略 sitemap 中的對應 URL);③ 用 robots.txt 保護敏感區域(管理後台、暫存檔等),同時用 sitemap 提交優質內容。兩者搭配使用,能最大化搜尋引擎的抓取效率。
你可以透過以下方式檢查:① 直接在瀏覽器造訪 https://你的網域/robots.txthttps://你的網域/sitemap.xml 查看原始內容;② 使用本工具的「貼上內容」模式,將內容貼入後進行分析;③ 使用 Google Search Console 的「頁面索引」和「Sitemaps」報告查看官方檢測結果;④ 透過 Google 的「Robots Testing Tool」測試特定 URL 是否被封鎖。本工具提供了離線、即時的檢查方式,無須擔心資料外洩。
這些標籤對 SEO 有一定的幫助:① lastmod(最後修改日期)— Google 會參考這個日期來判斷頁面是否有更新,對於新聞或經常更新的網站特別重要;② changefreq(更新頻率)— 提示頁面可能更改的頻率,但 Google 表示這個標籤僅作為參考,實際抓取頻率由演算法決定;③ priority(優先級 0.0-1.0)— 標示頁面相對於網站其他頁面的重要性。Google 官方表示 priority 和 changefreq 已不是排名信號,但正確填寫 lastmod 仍然有助於爬蟲更有效地抓取你的網站。

SEO 知識文章

深入了解 Robots.txt 與 Sitemap 的最佳實踐

Robots.txt 教學

Robots.txt 是什麼?完整入門指南

了解 robots.txt 的基本語法、運作原理,以及如何正確設定搜尋引擎爬蟲的存取規則。包含 User-agent、Allow、Disallow、Sitemap 和 Crawl-delay 的完整說明。

5 分鐘閱讀 初級
Sitemap 教學

Sitemap.xml 是什麼?完整設定教學

理解 sitemap.xml 的結構、建立方式與提交方法。從 XML 格式、URL 規範到 Google Search Console 提交,完整掌握網站地圖的 SEO 最佳實踐。

6 分鐘閱讀 初級
Google SEO

Google 如何讀取與處理 Sitemap?

深入解析 Googlebot 處理 sitemap 的流程:從發現、下載、解析到索引排入。了解 Google 的 Sitemap 處理限制、索引優先級策略與常見的索引問題。

4 分鐘閱讀 中級
錯誤排查

Robots.txt 常見錯誤與修正方法

整理最常見的 robots.txt 設定錯誤:意外封鎖整個網站、語法錯誤、規則衝突、缺少 Sitemap 指向、Crawl-delay 設定不當等,並提供具體的修正方案與最佳範例。

5 分鐘閱讀 初級 - 中級
最佳實踐

Sitemap 最佳實踐:提升網站索引效率

學習如何建立高效的 sitemap 策略:URL 優先級排序、更新頻率設定、多語言網站處理、圖片與影片 sitemap、動態生成與自動提交的最佳實務建議。

7 分鐘閱讀 中級
網站遷移

網站遷移時 Robots.txt 與 Sitemap 的處理要點

網站改版或遷移網域時,robots.txt 和 sitemap 的處理至關重要。了解如何設定 301 轉址、更新 robots.txt 與 sitemap、提交 URL 變更,以及確保 SEO 排名不墜的關鍵步驟。

6 分鐘閱讀 進階

關於此工具

此工具提供完整的 robots.txt 與 sitemap.xml 驗證分析,幫助你確保網站符合搜尋引擎的技術規範。

Robots.txt 分析

規則衝突、封鎖檢測

Sitemap 分析

格式、重複、完整度

SEO 評分系統

Error / Warning / Suggestion

即時驗證

輸入內容立即重新分析

檢測重點

規則衝突 封鎖檢測 XML 驗證 重複 URL lastmod 檢查 SEO 評分

快速範例