跳到主要內容

robots.txt 產生器

線上 robots.txt 產生器,按預設或自訂規則產生爬蟲協議檔案:可選 Googlebot、Bingbot、百度等 User-agent,配置 Allow/Disallow 規則、Crawl-delay 與 Sitemap 位址,一鍵屏蔽 GPTBot 等 AI 訓練爬蟲。即時輸出可直接部署的文本,並標註「留空 = 允許全部」這類常見語義陷阱。全部在瀏覽器本地產生。

瀏覽器本地處理 即時計算
快速預設
對哪些爬蟲生效
可多選,同一組規則共用

* 代表所有未被單獨指定的爬蟲;單獨列出 Googlebot 等名字時,該爬蟲只遵守自己那一組。

抓取規則

路徑留空表示「不限制」;Disallow 寫成 / 才是「全部禁止」。支援 * 萬用與 $ 結尾。

站點地圖與抓取間隔
robots.txt

        
部署與驗證

    工具說明

    線上 robots.txt 產生器,按預設或自訂規則產生爬蟲協議檔案:可選 Googlebot、Bingbot、百度等 User-agent,配置 Allow/Disallow 規則、Crawl-delay 與 Sitemap 位址,一鍵屏蔽 GPTBot 等 AI 訓練爬蟲。即時輸出可直接部署的文本,並標註「留空 = 允許全部」這類常見語義陷阱。全部在瀏覽器本地產生。

    使用方法

    1. 在上方輸入框中填入待處理的內容,或點擊「填入範例」一鍵體驗
    2. 根據需要調整參數選項,結果會隨輸入即時更新
    3. 點擊「開始處理」即可得到結果,支援一鍵複製或導出檔案

    提示

    • 本工具完全在瀏覽器本地執行,資料不會離開您的裝置
    • 完全免費、無需註冊、不限使用次數
    • 多數工具支援即時計算,輸入即出結果