From 00f9a0d97b82ed362829df55811368a4309d2e9d Mon Sep 17 00:00:00 2001 From: root Date: Fri, 17 Apr 2026 16:51:48 +0800 Subject: [PATCH] docs(spider): record domestic recovery turning point --- ...1270-SEONexus-Codex多版本协作交接总文档.md | 75 +++++++++++++++++++ 1 file changed, 75 insertions(+) diff --git a/docs/1270-SEONexus-Codex多版本协作交接总文档.md b/docs/1270-SEONexus-Codex多版本协作交接总文档.md index ea2dbcf..e1f0420 100644 --- a/docs/1270-SEONexus-Codex多版本协作交接总文档.md +++ b/docs/1270-SEONexus-Codex多版本协作交接总文档.md @@ -4099,6 +4099,81 @@ php code/scripts/seo_copy_front_verify.php chuanjiafeng.net category_list dian-y - 国内蜘蛛可正常进首页/robots/部分内容页 - 已验证机器上的受管蜘蛛放行策略正在稳定生效 +#### 2026-04-17 国内蜘蛛“历史大盘”与“最新转折点” + +继续把 `runs/20260417/*/crawl-logs.summary.json` 全量按国内蜘蛛拆开后,可以得到两个层面的判断: + +##### 1. 历史大盘 + +按 `2026-04-17` 当天已归档 run 聚合后: + +1. `baiduspider` + - 总量:`170` + - 状态: + - `200 => 98` + - `301 => 61` + - `404 => 11` + - 页面类型: + - `home => 110` + - `detail => 28` + - `play => 8` + - `other => 24` +2. `sogou` + - 总量:`147` + - 状态: + - `200 => 7` + - `301 => 39` + - `403 => 101` + - 页面类型: + - `other => 68` + - `category => 28` + - `play => 19` + - `detail => 11` + - `robots => 11` + - `home => 10` +3. `bytespider` + - 总量:`63` + - 状态: + - `301 => 8` + - `403 => 31` + - `444 => 24` + - 页面类型: + - 基本集中在 `robots` + +这说明: + +1. 从整天历史大盘看,`baiduspider` 已明显恢复 +2. `sogou` 历史累计仍然以旧的 `403` 样本为主 +3. `bytespider` 目前仍主要停留在 `robots` 层 + +##### 2. 最新转折点 + +但如果只看最新两批关键 run,已经能看到与历史大盘不同的新信号: + +1. `162003_crawl_log_push_9592ea` + - `www.jpjdxs.com` + - `sogou /robots.txt => 200` + - `sogou / => 200` + - `sogou /neirong-154229-xiang-feng-bu-shi-jiu-shi-ren => 200` + - `sogou /bf-154229-xiang-feng-bu-shi-jiu-shi-ren/default-1 => 200` + - `www.glae.cc` + - `baiduspider / => 301 -> 200 -> 200` +2. `163002_crawl_log_push_92f872` + - `www.lgyz.net` + - `sogou /movie/154223-wo-zai-nv-zong-dang-nan-xiu => 200` + - `www.lcdchq.com` + - `sogou /movie/154180-yi-gua-ding-qing-yuan-ye-ya-tou-jin-cheng-bei-tuan-chong => 200` + - `www.oronorent.com` + - `sogou /shipin/154173-yi-gua-ding-qian-kun => 200` + +这说明: + +1. `sogou` 的历史大盘虽然还难看,但最新窗口已经开始出现真实恢复样本 +2. 这些 `200` 样本,与本轮线上人工实测结果完全一致 +3. 因此当前更合理的判断应是: + - `sogou` 正在从旧的 `403` 状态切换到新规则生效后的 `200` + - 当前处于“恢复初期,旧日志权重仍然较高”的阶段 + ### 6. 对后续 Codex 的明确提醒 后面如果再看到: