搜索引擎爬虫改版或迁移时应核对什么，交付前把抓取与索引链路逐项对齐
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /0ceb77157932.html
📄
搜索引擎爬虫改版或迁移时应核对什么，交付前把抓取与索引链路逐项对齐
改版或迁移时，针对搜索引擎爬虫最该核对的是：旧URL能否被稳定地发现并跳转到新URL、新URL是否允许被抓取、页面返回状态是否正确、以及站内链接和站点地图是否同步更新。核心目标不是让爬虫立刻重抓，而是避免它在迁移窗口内抓到大量死链、重复内容或错误状态，导致旧页面被清退、新页面又没被识别。多人协作时，把这些检查项写成可交付的清单，比口头交接更能减少返工。
准备阶段：先盘点URL与抓取规则
迁移前先建立一张URL对照表，至少包含旧URL、新URL、处理方式、负责人四列。处理方式通常分为三类：一对一跳转、多对一合并、彻底下线。彻底下线的页面要区分是返回404还是410，不要用robots.txt屏蔽来代替下线，因为robots.txt只限制抓取，不保证已收录的URL从索引中移除。
同时核对当前的robots.txt。如果旧站曾屏蔽某些目录，迁移后要确认新站的robots.txt没有误伤需要收录的路径。这一步的判断依据是：被屏蔽的URL即使出现在站点地图里，爬虫也可能不抓取，站点地图本身也不保证收录。
实施阶段：状态码、跳转与canonical要一致
这是整个迁移最关键的一步：确保每个旧URL返回301或308跳转到最相关的新URL，而不是全部跳到首页。全站跳首页会被视为软404，新页面很难继承旧页面的信号。
- 检查跳转链：避免A跳B、B又跳C，链式跳转应压缩为一次直达。
- 检查跳转环：出现A跳B、B跳A时，爬虫会放弃跟进。
- 检查canonical：新页面上的canonical必须指向自身，不能残留旧域名。
- 检查内链：导航、面包屑、正文链接都要指向新URL，不能靠跳转兜底。
- 检查协议与主机名：http与https、带www与不带www应统一到同一版本，其余做跳转。
如果使用HTTPS，注意它只解决传输加密，不保证站点无漏洞，也不构成排名保证，仍需单独核查证书链和混合内容。
验证阶段：用日志与抓取测试确认结果
上线后不要只看页面能否打开。可执行的核对方法包括：
- 抽取对照表中20到50个代表性URL，逐个请求，记录状态码、跳转目标和最终落地页。
- 查看服务器日志中搜索引擎爬虫的访问记录，确认它请求旧URL时收到的是301而非404或500。
- 在新站生成并提交站点地图，同时确认站点地图里的URL全部返回200且可被抓取。
- 用抓取测试工具模拟爬虫请求关键页面，确认没有被robots.txt或防火墙拦截。
判断结果的标准是：旧URL返回301、新URL返回200、canonical自指、站点地图与内链一致。任何一项不符，先修复再继续观察，不要同时改动多个变量。
维护阶段：把检查项固化成交付物
迁移不是一次性动作。上线后的一段时间内，应持续监控404日志、跳转链和索引状态。多人协作时，建议把URL对照表、robots.txt变更记录、站点地图提交记录放在同一处，指定一人负责最终核对。若发现旧URL仍被访问，先判断是外链未更新还是跳转失效，再决定是否补充跳转，而不是直接删除旧路径。
下一步可以直接做一件事：从URL对照表中挑出流量最高或外链最多的20个旧URL，逐一验证跳转目标、状态码和canonical，把结果记录在同一份清单里，作为迁移验收的依据。
