站长工具箱

Robots检测

检测robots.txt规则

网站优化 免费使用
快捷:

robots.txt 写法参考

User-agent: *
Disallow: /admin/
Disallow: /search?
Allow: /

# 禁止所有爬虫(谨慎!)
# User-agent: *
# Disallow: /

Sitemap: https://example.com/sitemap.xml

相关工具

查看全部