diff --git a/docs/1270-SEONexus-Codex多版本协作交接总文档.md b/docs/1270-SEONexus-Codex多版本协作交接总文档.md index 640ce9a..f58832e 100644 --- a/docs/1270-SEONexus-Codex多版本协作交接总文档.md +++ b/docs/1270-SEONexus-Codex多版本协作交接总文档.md @@ -4276,6 +4276,42 @@ php code/scripts/seo_copy_front_verify.php chuanjiafeng.net category_list dian-y 3. 历史日志里的 `404/403` 样本,主要是旧路径残留 4. 不应再把 `hyjssb` 归入“当前前端蜘蛛拦截未修复”的问题列表 +#### `bytespider` 当前判断:未进入 managed 标记,但 robots 实测已基本可通 + +继续把 `bytespider` 单独拆开后,可以看到: + +1. `2026-04-17` 当天历史累计: + - `301 => 9` + - `403 => 33` + - `444 => 24` +2. 页面类型高度集中在: + - `robots` + +按当天历史样本看,`bytespider` 确实比 `baidu/sogou` 恢复得慢。 + +但继续做当前线上实测后,已看到: + +1. `https://www.lgyz.net/robots.txt` + - `Bytespider => 200` + - `X-Managed-Spider: normal` +2. `https://www.jpjdxs.com/robots.txt` + - `Bytespider => 200` + - `X-Managed-Spider: normal` +3. 历史里曾出现 `bytespider 403` 的站再测: + - `https://www.codohealth.com/robots.txt => 200` + - `https://www.vikau.com/robots.txt => 200` + - `https://www.gz-yxsw.com/robots.txt => 200` + - `https://www.lmjcg.com/robots.txt => 200` + - 以上均表现为: + - `X-Managed-Spider: normal` + +这说明当前更合理的判断是: + +1. `bytespider` 目前大概率还未纳入 managed spider 映射 +2. 但在当前这批已复测站点上,也没有继续被前端统一拦截 +3. 历史 `403/444` 更像旧样本残留,或早前 robots 层策略未统一时留下的记录 +4. 如果后续业务要主动提升头条/字节系抓取优先级,再考虑把 `bytespider` 纳入 managed spider 映射即可 + ### 6. 对后续 Codex 的明确提醒 后面如果再看到: