docs(spider): record domestic recovery turning point

This commit is contained in:
root
2026-04-17 16:51:48 +08:00
parent 101084ff80
commit 00f9a0d97b

View File

@@ -4099,6 +4099,81 @@ php code/scripts/seo_copy_front_verify.php chuanjiafeng.net category_list dian-y
- 国内蜘蛛可正常进首页/robots/部分内容页
- 已验证机器上的受管蜘蛛放行策略正在稳定生效
#### 2026-04-17 国内蜘蛛“历史大盘”与“最新转折点”
继续把 `runs/20260417/*/crawl-logs.summary.json` 全量按国内蜘蛛拆开后,可以得到两个层面的判断:
##### 1. 历史大盘
`2026-04-17` 当天已归档 run 聚合后:
1. `baiduspider`
- 总量:`170`
- 状态:
- `200 => 98`
- `301 => 61`
- `404 => 11`
- 页面类型:
- `home => 110`
- `detail => 28`
- `play => 8`
- `other => 24`
2. `sogou`
- 总量:`147`
- 状态:
- `200 => 7`
- `301 => 39`
- `403 => 101`
- 页面类型:
- `other => 68`
- `category => 28`
- `play => 19`
- `detail => 11`
- `robots => 11`
- `home => 10`
3. `bytespider`
- 总量:`63`
- 状态:
- `301 => 8`
- `403 => 31`
- `444 => 24`
- 页面类型:
- 基本集中在 `robots`
这说明:
1. 从整天历史大盘看,`baiduspider` 已明显恢复
2. `sogou` 历史累计仍然以旧的 `403` 样本为主
3. `bytespider` 目前仍主要停留在 `robots`
##### 2. 最新转折点
但如果只看最新两批关键 run已经能看到与历史大盘不同的新信号
1. `162003_crawl_log_push_9592ea`
- `www.jpjdxs.com`
- `sogou /robots.txt => 200`
- `sogou / => 200`
- `sogou /neirong-154229-xiang-feng-bu-shi-jiu-shi-ren => 200`
- `sogou /bf-154229-xiang-feng-bu-shi-jiu-shi-ren/default-1 => 200`
- `www.glae.cc`
- `baiduspider / => 301 -> 200 -> 200`
2. `163002_crawl_log_push_92f872`
- `www.lgyz.net`
- `sogou /movie/154223-wo-zai-nv-zong-dang-nan-xiu => 200`
- `www.lcdchq.com`
- `sogou /movie/154180-yi-gua-ding-qing-yuan-ye-ya-tou-jin-cheng-bei-tuan-chong => 200`
- `www.oronorent.com`
- `sogou /shipin/154173-yi-gua-ding-qian-kun => 200`
这说明:
1. `sogou` 的历史大盘虽然还难看,但最新窗口已经开始出现真实恢复样本
2. 这些 `200` 样本,与本轮线上人工实测结果完全一致
3. 因此当前更合理的判断应是:
- `sogou` 正在从旧的 `403` 状态切换到新规则生效后的 `200`
- 当前处于“恢复初期,旧日志权重仍然较高”的阶段
### 6. 对后续 Codex 的明确提醒
后面如果再看到: