Robots.txt 生成

生成 robots.txt 文件

Robots.txt 生成 介绍

根据禁止和允许路径生成 robots.txt 文件内容，控制搜索引擎爬虫。

使用方法

  1. 输入禁止爬取路径和允许路径。
  2. 可选输入 Sitemap 地址。
  3. 点击“执行”。

注意事项

  • robots.txt 只是建议，恶意爬虫不会遵守。
  • 将生成的内容保存到网站根目录的 robots.txt 文件中。

相关工具推荐

  • Meta 标签生成 - 生成网页 Meta 标签
  • HTTP 状态码 - HTTP 状态码查询表
  • Favicon 生成 - 在线制作 ico 图标
  • Whois 查询 - 域名 Whois 信息查询
  • 关键词密度检测 - 检测网页关键词密度
  • 身份证校验 - 校验中国大陆身份证号码
  • 手机号校验 - 校验中国大陆手机号码
  • 邮箱校验 - 校验电子邮箱格式
  • Gzip 检测 - 检测网站是否开启 Gzip
  • htaccess 转 nginx - 将 Apache .htaccess 规则转换为 Nginx 配置

站点地图

查看完整 Sitemap XML

工具分类

  • JSON 工具
  • 格式化转换
  • 加解密编码
  • 文本工具
  • 网络工具
  • 站长工具
  • 换算计算
  • CSS 生成器
  • 对照参考

站长工具导航

  • Whois 查询 - 域名 Whois 信息查询
  • ICP 备案查询 - 网站 ICP 备案信息查询
  • 身份证校验 - 校验中国大陆身份证号码
  • 手机号校验 - 校验中国大陆手机号码
  • 邮箱校验 - 校验电子邮箱格式
  • Meta 标签生成 - 生成网页 Meta 标签
  • Favicon 生成 - 在线制作 ico 图标
  • HTTP 状态码 - HTTP 状态码查询表
  • Gzip 检测 - 检测网站是否开启 Gzip
  • 关键词密度检测 - 检测网页关键词密度
  • htaccess 转 nginx - 将 Apache .htaccess 规则转换为 Nginx 配置