老模板优化

docs/old-tmp-seo/04-老模板蜘蛛日志观察更新-2026-04-17.md

@@ -0,0 +1,305 @@
+# 1273-SEONexus 老模板蜘蛛日志观察更新 - 2026-04-17
+
+## 目的
+
+这份文档用于承接 `1271` 和 `1272` 之后，基于 `2026-04-17` 最新代码与最新蜘蛛日志，再做一轮更新观察。
+
+本轮重点不是重新从零分析，而是回答三个问题：
+
+1. 相比 `2026-04-16`，整体抓取结构有没有变化
+2. 哪些问题确实改善了
+3. 哪些问题只是从 `301/404` 换成了新的损耗形态
+
+## 数据范围
+
+- 项目：`SEONexus`
+- 数据来源：`code/storage/domain-spider-crawl/runs/*/*/crawl-logs.summary.json`
+- 观察对象：`baiduspider`
+- 时间窗口：最近 24 小时
+- 观察日期：`2026-04-17`
+
+## 与上一轮的核心对比
+
+### `2026-04-16`
+
+- `home`: `509`
+- `other`: `266`
+- `detail`: `119`
+- `play`: `51`
+- `category`: `2`
+
+- `200`: `532`
+- `301`: `231`
+- `404`: `183`
+- `444`: `1`
+
+### `2026-04-17`
+
+- `home`: `433`
+- `other`: `106`
+- `detail`: `95`
+- `play`: `43`
+- `category`: `0`
+
+- `200`: `478`
+- `301`: `158`
+- `404`: `9`
+- `444`: `32`
+
+## 第一判断
+
+这一轮最明显的变化不是“抓取总量暴涨”，而是“损耗结构明显变化”。
+
+一句话总结：
+
+> `2026-04-17` 相比 `2026-04-16`，百度蜘蛛的 `404` 大幅下降，`301` 也明显下降，说明旧错误入口和部分跳转损耗确实被压掉了；但同时出现了一批新的 `444` 拦截信号，说明问题并没有完全消失，而是部分从“错误入口消耗”转成了“拦截型消耗”。
+
+## 本轮最值得确认的改善
+
+### 1. `404` 从 `183` 降到 `9`
+
+这是本轮最明确的正向信号。
+
+说明：
+
+- 之前那批高密度错误入口，不少已经不再继续大量落成 `404`
+- 至少从日志表现上，老的纯错误入口吞预算问题大幅缓解
+
+### 2. `301` 从 `231` 降到 `158`
+
+说明：
+
+- 首页和深页的跳转损耗总体也在下降
+- 尤其是首页 `/|301` 从上一轮的 `98` 次，降到了这轮的 `59` 次
+
+这虽然还不算完全收干净，但趋势是对的。
+
+### 3. `qf123.net` 基本脱离“纯 404 黑洞”
+
+上一轮：
+
+- `qf123.net`: `other|404 = 169`
+
+这一轮：
+
+- `qf123.net` 已经没有继续出现高位 `other|404`
+- `www.qf123.net` 只看到：
+  - `home|200 = 2`
+  - `home|301 = 1`
+
+这说明：
+
+- 之前那批 `webuploader / upload / fileupload` 噪音，至少在本轮窗口中已经不再是主问题
+
+### 4. `sctyjz.com` 的首页结构比上一轮更分化
+
+上一轮：
+
+- `sctyjz.com`: `home|200 = 12`，`home|301 = 6`，`other|404 = 8`
+
+这一轮：
+
+- `sctyjz.com`: `home|200 = 3`，`other|404 = 8`
+- `www.sctyjz.com`: `home|200 = 7`，`home|301 = 1`，`other|404 = 1`
+
+说明：
+
+- 裸域和 `www` 的抓取重心更明显地往 `www` 偏了
+- 首页 `301` 的问题在 `www.sctyjz.com` 这一侧已明显下降
+- 但旧伪静态 `404` 入口仍未根治
+
+## 本轮没有解决、但结构更清楚的问题
+
+### 1. `yagyjt.com` 仍然是深抓正样本，但深页 `301` 还在高位
+
+本轮统计：
+
+- `detail|200 = 48`
+- `detail|301 = 47`
+- `play|200 = 19`
+- `play|301 = 20`
+- `home|200 = 14`
+- `home|301 = 4`
+
+对比上一轮：
+
+- `detail|200 = 59`
+- `detail|301 = 60`
+- `play|200 = 25`
+- `play|301 = 22`
+- `home|200 = 18`
+- `home|301 = 6`
+
+判断：
+
+- 深抓还在，说明正样本地位没丢
+- `home|301` 有下降，首页更干净了
+- `detail/play` 的 `301` 也略有下降
+- 但深页 `301` 和 `200` 仍然接近 1:1，主矛盾没有本质变化
+
+结论：
+
+> `yagyjt.com` 依然不是“有没有深抓”的问题，而是“深抓已经建立，但深页规范化损耗仍然偏高”。
+
+### 2. `www.ningxiaowei.com` 仍然是内容层跳转样本
+
+本轮统计：
+
+- `home|200 = 25`
+- `home|301 = 4`
+- `other|200 = 24`
+- `other|301 = 24`
+
+上一轮：
+
+- `home|200 = 66`
+- `home|301 = 5`
+- `other|200 = 20`
+- `other|301 = 18`
+
+判断：
+
+- 首页 `301` 有所下降
+- 但 `other|301` 反而更显眼了
+- 异常仍然主要落在：
+  - `/video-info/...|301`
+  - `/video-play/...|301`
+
+结论：
+
+> `www.ningxiaowei.com` 当前更像“首页稍微更干净了，但内容层历史路径兼容仍在持续吃预算”。
+
+### 3. `junhaolab.com` 仍然只是弱深抓样本
+
+本轮：
+
+- `play|200 = 2`
+- `play|301 = 2`
+
+说明：
+
+- 播放页信号还在
+- 但量级没有明显放大
+
+## 本轮新增需要重点留意的问题
+
+### 1. `444` 从 `1` 升到 `32`
+
+这轮最值得警惕的新变化就是：
+
+- `444` 明显增加
+
+目前主要出现在：
+
+- `rqgcmc.com`
+- `yagyjt.com`
+- `www.yagyjt.com`
+
+### 2. `rqgcmc.com` 出现新的拦截型异常
+
+本轮统计：
+
+- `home|200 = 8`
+- `home|301 = 4`
+- `other|444 = 27`
+
+典型异常：
+
+- `/rqgcmc.com.rar|444`
+- `/rqgcmc.com.zip|444`
+- `/rqgcmc.rar|444`
+- `/rqgcmc.zip|444`
+- `/rqgcmc.txt|444`
+- `/www.zip|444`
+- `/www.rar|444`
+- `/wwwroot.rar|444`
+
+判断：
+
+- 这不是内容层问题
+- 而是明显的探测、打包、压缩包、站点根目录类异常请求
+- 目前这些请求被 `444` 拦掉了
+
+结论：
+
+> 这类 `444` 比 `404` 更像“防探测拦截生效”，从安全上未必是坏事；但从蜘蛛日志观察角度，它仍然属于抓取预算噪音，需要和真正的 SEO 主路径分开看。
+
+### 3. `/zb_system/login.php` 从 `301/404` 变成了 `444`
+
+上一轮高频里：
+
+- `/zb_system/login.php|301`
+- `/zb_system/login.php|404`
+
+这一轮高频里：
+
+- `/zb_system/login.php|444 = 4`
+
+判断：
+
+- 这说明后台历史入口仍在被命中
+- 只是处理方式从跳转/未找到，变成了直接拦截
+
+## 当前阶段的新结论
+
+本轮比上一轮更适合用“三类变化”来理解：
+
+### 1. 确认改善的
+
+- `404` 大幅下降
+- 首页 `/|301` 明显下降
+- `qf123.net` 的错误入口黑洞基本消失
+
+### 2. 改善有限但方向正确的
+
+- `yagyjt.com` 首页与深页 `301` 略降
+- `sctyjz.com` 的 `www` 侧首页更干净
+
+### 3. 新暴露出来的
+
+- `444` 上升
+- 一批探测型、压缩包型、后台入口型异常被直接拦截
+
+## 给主 Codex 的更新建议
+
+### 1. 不要再把当前主矛盾定义成“404 为主”
+
+`2026-04-17` 这轮后，旧式 `404` 入口问题已经明显下降。
+
+现在更应该拆成：
+
+- 深页 `301` 是否还能继续压
+- 首页 `/|301` 是否还能继续压
+- `444` 是否属于可接受的防探测噪音，还是误伤了正常抓取入口
+
+### 2. `yagyjt.com` 仍然是深抓优化第一观察站
+
+因为：
+
+- 深抓仍在
+- 首页更干净了
+- 现在更容易观察“深页跳转能否进一步收敛”
+
+### 3. `www.ningxiaowei.com` 仍然是内容层历史路径兼容观察站
+
+因为：
+
+- `video-info / video-play` 仍然频繁出现
+- 更适合继续验证 canonical / family / 兼容入口是否完全统一
+
+### 4. `rqgcmc.com` 不应和普通 SEO 站点混在一起判断
+
+它当前的主要问题已经不是内容入口，而是拦截型探测噪音。
+
+### 5. `category` 仍然没有抬头
+
+这一轮没有观察到新的 `category` 扩散信号。
+
+这说明：
+
+- 首页入口虽然在改善
+- 但首页 -> 分类 -> 深页 的中继放量还没有明显出现
+
+## 一句话交接
+
+> `2026-04-17` 这轮最大的变化，是旧式 `404` 错误入口明显下降、首页与部分深页 `301` 也在下降，但问题没有完全消失，而是部分转成了 `444` 拦截型噪音；下一步更值得主 Codex 盯的是深页 `301` 压缩和 `444` 是否只是安全噪音而非误伤 SEO 主路径。