robots.txt 產生器
線上 robots.txt 產生器,按預設或自訂規則產生爬蟲協議檔案:可選 Googlebot、Bingbot、百度等 User-agent,配置 Allow/Disallow 規則、Crawl-delay 與 Sitemap 位址,一鍵屏蔽 GPTBot 等 AI 訓練爬蟲。即時輸出可直接部署的文本,並標註「留空 = 允許全部」這類常見語義陷阱。全部在瀏覽器本地產生。
瀏覽器本地處理
即時計算
快速預設
對哪些爬蟲生效
可多選,同一組規則共用
* 代表所有未被單獨指定的爬蟲;單獨列出 Googlebot 等名字時,該爬蟲只遵守自己那一組。
抓取規則
路徑留空表示「不限制」;Disallow 寫成 / 才是「全部禁止」。支援 * 萬用與 $ 結尾。
站點地圖與抓取間隔
robots.txt
部署與驗證
工具說明
線上 robots.txt 產生器,按預設或自訂規則產生爬蟲協議檔案:可選 Googlebot、Bingbot、百度等 User-agent,配置 Allow/Disallow 規則、Crawl-delay 與 Sitemap 位址,一鍵屏蔽 GPTBot 等 AI 訓練爬蟲。即時輸出可直接部署的文本,並標註「留空 = 允許全部」這類常見語義陷阱。全部在瀏覽器本地產生。
使用方法
- 在上方輸入框中填入待處理的內容,或點擊「填入範例」一鍵體驗
- 根據需要調整參數選項,結果會隨輸入即時更新
- 點擊「開始處理」即可得到結果,支援一鍵複製或導出檔案
提示
- 本工具完全在瀏覽器本地執行,資料不會離開您的裝置
- 完全免費、無需註冊、不限使用次數
- 多數工具支援即時計算,輸入即出結果