docs(spider): add bytespider current assessment

This commit is contained in:
root
2026-04-17 17:30:23 +08:00
parent 57730ec6b0
commit 3c6a5f6a20

View File

@@ -4276,6 +4276,42 @@ php code/scripts/seo_copy_front_verify.php chuanjiafeng.net category_list dian-y
3. 历史日志里的 `404/403` 样本,主要是旧路径残留
4. 不应再把 `hyjssb` 归入“当前前端蜘蛛拦截未修复”的问题列表
#### `bytespider` 当前判断:未进入 managed 标记,但 robots 实测已基本可通
继续把 `bytespider` 单独拆开后,可以看到:
1. `2026-04-17` 当天历史累计:
- `301 => 9`
- `403 => 33`
- `444 => 24`
2. 页面类型高度集中在:
- `robots`
按当天历史样本看,`bytespider` 确实比 `baidu/sogou` 恢复得慢。
但继续做当前线上实测后,已看到:
1. `https://www.lgyz.net/robots.txt`
- `Bytespider => 200`
- `X-Managed-Spider: normal`
2. `https://www.jpjdxs.com/robots.txt`
- `Bytespider => 200`
- `X-Managed-Spider: normal`
3. 历史里曾出现 `bytespider 403` 的站再测:
- `https://www.codohealth.com/robots.txt => 200`
- `https://www.vikau.com/robots.txt => 200`
- `https://www.gz-yxsw.com/robots.txt => 200`
- `https://www.lmjcg.com/robots.txt => 200`
- 以上均表现为:
- `X-Managed-Spider: normal`
这说明当前更合理的判断是:
1. `bytespider` 目前大概率还未纳入 managed spider 映射
2. 但在当前这批已复测站点上,也没有继续被前端统一拦截
3. 历史 `403/444` 更像旧样本残留,或早前 robots 层策略未统一时留下的记录
4. 如果后续业务要主动提升头条/字节系抓取优先级,再考虑把 `bytespider` 纳入 managed spider 映射即可
### 6. 对后续 Codex 的明确提醒
后面如果再看到: