Robots.txt 生成

Robots.txt 生成 介绍

根据禁止和允许路径生成 robots.txt 文件内容，控制搜索引擎爬虫。

使用方法

1. 输入禁止爬取路径和允许路径。
2. 可选输入 Sitemap 地址。
3. 点击“执行”。

注意事项

• robots.txt 只是建议，恶意爬虫不会遵守。
• 将生成的内容保存到网站根目录的 robots.txt 文件中。