📍 WDQWDWQD987AAAAA:216.73.216.116
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /21df062c3cdf.html
📄

网站收录检查：改版或迁移时应核对什么

改版或迁移时的网站收录检查，核心不是看“收录数有没有掉”，而是核对搜索引擎能否发现新URL、抓取到正确内容、并把旧URL的信号传递到新URL。如果这三件事有一件断了，收录波动就会持续。下面按观察、判断、处理、复查四步说明该核对什么。

观察：先分清“没收录”还是“没抓取”

打开搜索引擎的站点查询指令（如 site:），对比改版前后的URL样本。重点看三类页面：首页与栏目页、原有高流量内容页、新生成的替代页。如果旧URL仍出现在结果中、新URL完全不见，通常是发现或跳转环节的问题；如果新旧URL都不见，更可能是抓取被阻断或整站返回异常状态码。

同时查看服务器日志中搜索引擎爬虫的访问记录。若爬虫仍大量请求旧URL且返回 404 或 500，说明跳转规则没生效；若爬虫请求新URL但返回 5xx，问题在服务端而非收录机制。这一步只做现象记录，不急着改配置。

判断：核对四类关键配置

• robots.txt：确认没有误屏蔽新目录。注意，robots.txt 的抓取限制不等于可靠的索引移除——它只阻止抓取，已收录的旧URL仍可能留在结果中，需要配合其他方式处理。
• 跳转规则：旧URL应返回 301 并指向最相关的新URL，而不是全部跳首页。用 curl -I 逐条抽查，确认状态码和 Location 头正确。
• canonical 标签：新页面应自指，避免仍指向旧URL或错误页面，否则收录会归到错误地址上。
• 站点地图：更新为迁移后的新URL，并在搜索资源平台重新提交。要清楚站点地图不保证收录，它只是发现渠道之一。

另外核对 HTTPS 证书是否覆盖全部新域名或子域。HTTPS 不保证安全无漏洞或排名，但证书错误会直接阻断抓取，属于必须排除的硬故障。

处理：按优先级修复

1. 先恢复可抓取性：修正 robots.txt 误屏蔽、证书错误、5xx 响应。
2. 再修正跳转：把批量跳首页改为逐条或按规则映射到对应新URL。
3. 然后统一 canonical 与内链：站内链接、导航、面包屑都指向新URL，避免旧地址继续被引用。
4. 最后更新站点地图并提交，同时用“抓取诊断”类工具抽查典型URL的返回内容。

假设某内容页从 /old-a 迁到 /new-a，若服务器把 /old-a 跳到首页，用户和爬虫都拿不到对应内容，该页的收录与权重传递就会中断。改成 /old-a 301 到 /new-a 后，才能把信号落到正确目标上。

复查：迁移后分阶段验证

迁移完成后不要只看一天的数据。建议在第1天、第1周、第2至4周分别检查：新URL是否开始被抓取、旧URL是否逐步从结果中消失、目标页是否出现在应有的查询中。不同搜索引擎的抓取与更新节奏不同，需分别核查各自资源平台的数据，不能用一个引擎的表现推断全部。

如果复查中仍发现旧URL被大量访问且返回 404，说明还有未覆盖的跳转规则；如果新URL被抓取但未收录，再检查内容质量、重复度和 canonical 是否冲突。判断依据始终是日志、状态码和页面实际返回内容，而不是收录数字的短期涨跌。

下一步：导出改版前的URL清单，逐条用 curl -I 或抓取工具核对状态码与跳转目标，把异常项整理成修复列表，再按上面的优先级依次处理并安排复查。