robots.txt 生成器
为您的网站生成 robots.txt 文件。
输出
创建一个带有禁止路径和 sitemap 引用的 robots.txt。
使用方法
- 输入要禁止的路径。
- 添加您的 sitemap URL。
- 复制 robots.txt。
常见问题
- robots.txt 放在哪里？
- 放在您域名的根目录：/robots.txt。
- 它能拦截恶意机器人吗？
- 它只是建议性的；行为良好的爬虫会遵守它。
为您的网站生成 robots.txt 文件。
创建一个带有禁止路径和 sitemap 引用的 robots.txt。