robots.txt写法全解析：从基础规则到常见错误避免

📍 WDQWDWQD987AAAAA:216.73.217.6
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /2ea52fe163b2.html
📄

robots.txt 是网站与搜索引擎爬虫之间的第一道沟通桥梁。合理的 robots.txt 写法不仅能引导爬虫高效抓取，还能避免敏感目录被索引。但很多站长因写法不当，导致页面被误屏蔽或爬虫行为异常。本文从基础语法到实战技巧，系统讲解 robots.txt 的正确写法。

一、robots.txt 的基本结构

robots.txt 是一个纯文本文件，必须放在网站根目录下，文件名严格为小写。其核心由若干条记录组成，每条记录以 User-agent 开头，后跟 Allow 或 Disallow 规则。例如：

• User-agent: * 表示规则适用于所有爬虫；
• Disallow: /admin/ 表示禁止抓取 admin 目录；
• Allow: /public/ 表示允许抓取 public 目录。

注意：每条 User-agent 后必须至少有一条 Allow 或 Disallow 规则，否则该记录无效。

二、通配符与匹配规则

robots.txt 支持两种通配符：* 匹配任意字符序列，$ 匹配 URL 结尾。例如，Disallow: /*.pdf$ 表示禁止抓取所有以 .pdf 结尾的 URL。匹配时，爬虫会选取最长匹配的规则；若 Allow 与 Disallow 长度相同，则 Allow 优先。因此，Allow: /page/ 可以覆盖 Disallow: / 的全局屏蔽。

三、常见错误与最佳实践

常见错误包括：误写 Disallow: / 导致全站被屏蔽；忘记添加 Sitemap 地址；在规则中使用中文或空格导致解析失败。建议：

1. 始终在文件末尾添加 Sitemap: https://example.com/sitemap.xml；
2. 使用 Disallow: /search/ 屏蔽站内搜索结果页，避免重复内容；
3. 测试时可用百度搜索资源平台或 Google Search Console 的 robots.txt 测试工具验证。

最后，robots.txt 只是建议性协议，不能替代密码保护或 noindex 标签。敏感数据应通过权限控制保护，而非依赖 robots.txt 屏蔽。掌握正确的 robots.txt 写法，能让网站抓取更高效、索引更精准。