docs(spider): add bytespider current assessment
This commit is contained in:
@@ -4276,6 +4276,42 @@ php code/scripts/seo_copy_front_verify.php chuanjiafeng.net category_list dian-y
|
||||
3. 历史日志里的 `404/403` 样本,主要是旧路径残留
|
||||
4. 不应再把 `hyjssb` 归入“当前前端蜘蛛拦截未修复”的问题列表
|
||||
|
||||
#### `bytespider` 当前判断:未进入 managed 标记,但 robots 实测已基本可通
|
||||
|
||||
继续把 `bytespider` 单独拆开后,可以看到:
|
||||
|
||||
1. `2026-04-17` 当天历史累计:
|
||||
- `301 => 9`
|
||||
- `403 => 33`
|
||||
- `444 => 24`
|
||||
2. 页面类型高度集中在:
|
||||
- `robots`
|
||||
|
||||
按当天历史样本看,`bytespider` 确实比 `baidu/sogou` 恢复得慢。
|
||||
|
||||
但继续做当前线上实测后,已看到:
|
||||
|
||||
1. `https://www.lgyz.net/robots.txt`
|
||||
- `Bytespider => 200`
|
||||
- `X-Managed-Spider: normal`
|
||||
2. `https://www.jpjdxs.com/robots.txt`
|
||||
- `Bytespider => 200`
|
||||
- `X-Managed-Spider: normal`
|
||||
3. 历史里曾出现 `bytespider 403` 的站再测:
|
||||
- `https://www.codohealth.com/robots.txt => 200`
|
||||
- `https://www.vikau.com/robots.txt => 200`
|
||||
- `https://www.gz-yxsw.com/robots.txt => 200`
|
||||
- `https://www.lmjcg.com/robots.txt => 200`
|
||||
- 以上均表现为:
|
||||
- `X-Managed-Spider: normal`
|
||||
|
||||
这说明当前更合理的判断是:
|
||||
|
||||
1. `bytespider` 目前大概率还未纳入 managed spider 映射
|
||||
2. 但在当前这批已复测站点上,也没有继续被前端统一拦截
|
||||
3. 历史 `403/444` 更像旧样本残留,或早前 robots 层策略未统一时留下的记录
|
||||
4. 如果后续业务要主动提升头条/字节系抓取优先级,再考虑把 `bytespider` 纳入 managed spider 映射即可
|
||||
|
||||
### 6. 对后续 Codex 的明确提醒
|
||||
|
||||
后面如果再看到:
|
||||
|
||||
Reference in New Issue
Block a user