📍 WDQWDWQD987AAAAA:216.73.216.171
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /60a2fcaa237d.html
📄

个人博客建站：上线前怎样核对抓取与索引配置

上线前核对抓取与索引配置，核心是确认三件事：搜索引擎能抓到页面、抓到的页面允许被索引、索引信号指向你希望展示的版本。做法是先在本地或测试环境检查 robots.txt、meta robots、canonical 和 sitemap，再用抓取工具模拟访问，最后到搜索引擎的站长平台提交并观察覆盖情况。任何一项配置错误，都可能导致页面长期不进索引。

准备：先列出需要被索引的页面清单

很多博客上线后不收录，原因不是搜索引擎不抓，而是作者自己也不清楚哪些页面该被索引。动手前先做一张表，至少包含以下字段：

• 页面类型：首页、文章页、分类页、标签页、归档页、关于页、搜索页。
• 是否希望被索引：文章页和首页一般希望，搜索结果页和重复的归档页通常不希望。
• 对应 URL 示例：写一条真实路径，便于逐项核对。
• 是否存在多版本：带 www 与不带、http 与 https、带尾斜杠与不带。

这份清单决定了后面每一项检查的判断标准。没有它，你只能凭感觉判断“看起来没问题”。

实施：逐项检查四类配置

1. robots.txt 是否放行了需要的目录

robots.txt 放在站点根目录，用 Disallow 告诉爬虫哪些路径不要抓。常见错误是测试阶段写了全站禁止，上线时忘记删除。检查时逐条确认：

• 是否残留 Disallow: / 这类全站禁止规则。
• 是否误屏蔽了文章目录、静态资源目录或图片目录。
• 是否声明了 sitemap 地址，便于爬虫发现页面。

注意 robots.txt 控制的是“抓取”，不是“索引”。即使允许抓取，页面仍可能因为其他信号不被索引，这一点要分开看。

2. meta robots 与响应头是否允许索引

页面级指令优先级更直接。检查每类模板输出的 <meta name="robots">：

• 文章页模板不应出现 noindex。
• 标签页、归档页、搜索结果页如果内容重复，可以设为 noindex,follow。
• 同时检查 HTTP 响应头里是否有 X-Robots-Tag，它和 meta 标签效果类似，容易被忽略。

如果某个页面既被 robots.txt 禁止抓取，又设置了 noindex，爬虫无法读到 noindex，页面可能仍以其他方式出现在结果中。要避免这种组合。

3. canonical 是否指向规范版本

同一篇文章可能通过多个 URL 访问，例如带参数、带分页、带不同域名前缀。canonical 标签用来告诉搜索引擎哪个是主版本。检查方法：

• 打开文章页源码，确认 <link rel="canonical"> 指向该文章的固定链接，而不是首页或列表页。
• 确认 canonical 里的域名、协议、路径与实际访问地址一致。
• 分页页面不要全部 canonical 到第一页，否则后续页面内容可能不被单独索引。

canonical 是建议信号，不是强制指令。如果站内还有大量指向同一文章的不同链接，最好同时修正内链，减少多版本入口。

4. sitemap 是否完整且可访问

sitemap 帮助爬虫发现页面，尤其对链接结构较浅的个人博客有用。核对项：

• 访问 sitemap 地址，确认返回正常，不是 404 或登录页。
• 确认里面只包含希望被索引的 URL，不要把 noindex 页面也放进去。
• 确认每个 URL 与实际页面一致，没有拼写错误或旧域名。
• 在 robots.txt 中声明 sitemap 位置。

验证：用抓取与索引工具收集证据

配置改完后不能只看源码，要模拟爬虫实际访问。可以执行以下步骤：

1. 用搜索引擎站长平台的“网址检查”或“抓取测试”功能，输入一个文章 URL，查看返回的 HTML 和状态码。
2. 确认抓取到的 HTML 中，meta robots 和 canonical 与预期一致。
3. 查看“已发现但未编入索引”或类似报告，判断是抓取问题还是索引质量问题。
4. 用 site: 查询观察页面是否进入索引，但注意它只是粗略参考，不同搜索引擎结果有差异。

如果页面被抓取但未索引，优先检查内容是否与已有页面高度重复、是否缺少独立价值，而不是反复修改 robots.txt。抓取和索引是两个阶段，证据要分开收集。

维护：上线后持续观察覆盖变化

上线不是终点。个人博客更新频率不高时，索引状态可能几周才有变化。建议：

• 发布新文章后，主动在站长平台提交该 URL 或更新 sitemap。
• 每月查看一次索引覆盖报告，记录“已索引”“已排除”的数量变化。
• 改动模板、更换域名或调整固定链接后，重新核对 canonical 和 sitemap。
• 如果发现大量页面突然掉出索引，先回查最近一次配置变更，而不是盲目提交。

下一步，从你博客中选一篇已发布但未收录的文章，按上面的顺序检查 robots.txt、meta robots、canonical 和 sitemap，记录每一项的实际值，再与预期值对比。差异最大的那一项，通常就是需要优先修复的地方。