robots.txt 生成器
在线 robots.txt 生成器，按预设或自定义规则生成爬虫协议文件：可选 Googlebot、Bingbot、百度等 User-agent，配置 Allow/Disallow 规则、Crawl-delay 与 Sitemap 地址，一键屏蔽 GPTBot 等 AI 训练爬虫。实时输出可直接部署的文本，并标注「留空 = 允许全部」这类常见语义陷阱。全部在浏览器本地生成。
浏览器本地处理
实时计算
快速预设
对哪些爬虫生效
可多选，同一组规则共用
* 代表所有未被单独指定的爬虫；单独列出 Googlebot 等名字时，该爬虫只遵守自己那一组。
抓取规则
路径留空表示「不限制」；Disallow 写成 / 才是「全部禁止」。支持 * 通配与 $ 结尾。
站点地图与抓取间隔
robots.txt
部署与验证
工具说明
在线 robots.txt 生成器，按预设或自定义规则生成爬虫协议文件：可选 Googlebot、Bingbot、百度等 User-agent，配置 Allow/Disallow 规则、Crawl-delay 与 Sitemap 地址，一键屏蔽 GPTBot 等 AI 训练爬虫。实时输出可直接部署的文本，并标注「留空 = 允许全部」这类常见语义陷阱。全部在浏览器本地生成。
使用方法
- 在上方输入框中填入待处理的内容，或点击「填入示例」一键体验
- 根据需要调整参数选项，结果会随输入实时更新
- 点击「开始处理」即可得到结果，支持一键复制或导出文件
提示
- 本工具完全在浏览器本地运行，数据不会离开您的设备
- 完全免费、无需注册、不限使用次数
- 多数工具支持实时计算，输入即出结果