Robots.txt 是什麼?完整入門指南
了解 robots.txt 的基本語法、運作原理,以及如何正確設定搜尋引擎爬蟲的存取規則。包含 User-agent、Allow、Disallow、Sitemap 和 Crawl-delay 的完整說明。
專業的 robots.txt 與 sitemap.xml 驗證工具。分析規則衝突、格式錯誤、封鎖問題,
提供 SEO 評分、改善建議與即時驗證 — 完全在瀏覽器中處理,保障資料安全。
瀏覽器安全限制(CORS)
由於瀏覽器安全限制(CORS),無法直接讀取其他網站的 robots.txt 或 sitemap.xml。請將內容貼到工具中進行分析。若日後加入後端服務,此功能將可無縫升級。
沒有檢測到任何問題,內容看起來不錯!
執行分析後,此處會顯示針對問題的改善建議與修正範例。
關於 Robots.txt 與 Sitemap 的常見問題
/robots.txt 是否存在,並根據其中的規則決定抓取行為。它使用「User-agent」指定目標爬蟲,並用「Disallow」和「Allow」來控制存取權限。需要注意的是,robots.txt 是一種「君子協定」,並非安全機制 — 惡意程式仍然可以無視這些規則。
lastmod(最後修改日期)、changefreq(更新頻率)和 priority(優先級)等元數據。對於 SEO 來說,sitemap 幫助搜尋引擎更快發現和索引你的頁面,尤其是新網站、大型網站或內容更新不頻繁的網站。提交 sitemap 到 Google Search Console 可以顯著提升網站的索引效率。
Disallow: /,代表封鎖所有路徑,搜尋引擎將無法抓取網站上的任何頁面。這會導致:① 網站頁面從搜尋結果中消失或不被索引;② 已收錄的頁面可能被移除;③ Google 搜尋結果中看不到你的網站內容。嚴重建議只在特定情況下暫時使用(如網站維護期間),並務必搭配 Allow: / 規則來精細控制。如果你的網站正在被 SEO 懲罰或想要測試,請使用 noindex meta 標籤代替。
Sitemap: 指令指向 sitemap.xml 位置,讓爬蟲直接找到網站地圖;② 確保 sitemap 中沒有包含 robots.txt 已封鎖的 URL(否則爬蟲會先讀取 robots.txt 發現被禁止,然後忽略 sitemap 中的對應 URL);③ 用 robots.txt 保護敏感區域(管理後台、暫存檔等),同時用 sitemap 提交優質內容。兩者搭配使用,能最大化搜尋引擎的抓取效率。
https://你的網域/robots.txt 和 https://你的網域/sitemap.xml 查看原始內容;② 使用本工具的「貼上內容」模式,將內容貼入後進行分析;③ 使用 Google Search Console 的「頁面索引」和「Sitemaps」報告查看官方檢測結果;④ 透過 Google 的「Robots Testing Tool」測試特定 URL 是否被封鎖。本工具提供了離線、即時的檢查方式,無須擔心資料外洩。
lastmod(最後修改日期)— Google 會參考這個日期來判斷頁面是否有更新,對於新聞或經常更新的網站特別重要;② changefreq(更新頻率)— 提示頁面可能更改的頻率,但 Google 表示這個標籤僅作為參考,實際抓取頻率由演算法決定;③ priority(優先級 0.0-1.0)— 標示頁面相對於網站其他頁面的重要性。Google 官方表示 priority 和 changefreq 已不是排名信號,但正確填寫 lastmod 仍然有助於爬蟲更有效地抓取你的網站。
深入了解 Robots.txt 與 Sitemap 的最佳實踐
了解 robots.txt 的基本語法、運作原理,以及如何正確設定搜尋引擎爬蟲的存取規則。包含 User-agent、Allow、Disallow、Sitemap 和 Crawl-delay 的完整說明。
理解 sitemap.xml 的結構、建立方式與提交方法。從 XML 格式、URL 規範到 Google Search Console 提交,完整掌握網站地圖的 SEO 最佳實踐。
深入解析 Googlebot 處理 sitemap 的流程:從發現、下載、解析到索引排入。了解 Google 的 Sitemap 處理限制、索引優先級策略與常見的索引問題。
整理最常見的 robots.txt 設定錯誤:意外封鎖整個網站、語法錯誤、規則衝突、缺少 Sitemap 指向、Crawl-delay 設定不當等,並提供具體的修正方案與最佳範例。
學習如何建立高效的 sitemap 策略:URL 優先級排序、更新頻率設定、多語言網站處理、圖片與影片 sitemap、動態生成與自動提交的最佳實務建議。
網站改版或遷移網域時,robots.txt 和 sitemap 的處理至關重要。了解如何設定 301 轉址、更新 robots.txt 與 sitemap、提交 URL 變更,以及確保 SEO 排名不墜的關鍵步驟。
此工具提供完整的 robots.txt 與 sitemap.xml 驗證分析,幫助你確保網站符合搜尋引擎的技術規範。
Robots.txt 分析
規則衝突、封鎖檢測
Sitemap 分析
格式、重複、完整度
SEO 評分系統
Error / Warning / Suggestion
即時驗證
輸入內容立即重新分析