robots.txt生成器
在线 robots.txt 生成器：可视化配置搜索引擎爬虫放行与屏蔽规则，一键生成标准 robots.txt 文件，站长建站必备。
允许抓取路径
禁止抓取路径
Sitemap 地址
robots.txt生成器 使用说明
填写允许放行与禁止收录的路径，选择是否屏蔽图片抓取，点击「生成」即可复制标准 robots.txt 内容，上传到网站根目录生效。
robots.txt生成器 常见问题
robots.txt 是什么？
robots.txt 是告诉搜索引擎爬虫哪些页面可以抓取、哪些禁止抓取的协议文件，位于网站根目录。
robots.txt 能防止内容被抓取吗？
只能约束遵守协议的爬虫，不能作为安全手段；隐私内容应通过登录与服务器权限保护。
Disallow 和 Allow 冲突时怎么办？
以最长的匹配路径优先；规则应按具体程度排序，全站屏蔽用 Disallow: /，放行用 Allow。