# 1273-SEONexus 老模板蜘蛛日志观察更新 - 2026-04-17

## 目的

这份文档用于承接 `1271` 和 `1272` 之后，基于 `2026-04-17` 最新代码与最新蜘蛛日志，再做一轮更新观察。

本轮重点不是重新从零分析，而是回答三个问题：

1. 相比 `2026-04-16`，整体抓取结构有没有变化
2. 哪些问题确实改善了
3. 哪些问题只是从 `301/404` 换成了新的损耗形态

## 数据范围

- 项目：`SEONexus`
- 数据来源：`code/storage/domain-spider-crawl/runs/*/*/crawl-logs.summary.json`
- 观察对象：`baiduspider`
- 时间窗口：最近 24 小时
- 观察日期：`2026-04-17`

## 与上一轮的核心对比

### `2026-04-16`

- `home`: `509`
- `other`: `266`
- `detail`: `119`
- `play`: `51`
- `category`: `2`

- `200`: `532`
- `301`: `231`
- `404`: `183`
- `444`: `1`

### `2026-04-17`

- `home`: `433`
- `other`: `106`
- `detail`: `95`
- `play`: `43`
- `category`: `0`

- `200`: `478`
- `301`: `158`
- `404`: `9`
- `444`: `32`

## 第一判断

这一轮最明显的变化不是“抓取总量暴涨”，而是“损耗结构明显变化”。

一句话总结：

> `2026-04-17` 相比 `2026-04-16`，百度蜘蛛的 `404` 大幅下降，`301` 也明显下降，说明旧错误入口和部分跳转损耗确实被压掉了；但同时出现了一批新的 `444` 拦截信号，说明问题并没有完全消失，而是部分从“错误入口消耗”转成了“拦截型消耗”。

## 本轮最值得确认的改善

### 1. `404` 从 `183` 降到 `9`

这是本轮最明确的正向信号。

说明：

- 之前那批高密度错误入口，不少已经不再继续大量落成 `404`
- 至少从日志表现上，老的纯错误入口吞预算问题大幅缓解

### 2. `301` 从 `231` 降到 `158`

说明：

- 首页和深页的跳转损耗总体也在下降
- 尤其是首页 `/|301` 从上一轮的 `98` 次，降到了这轮的 `59` 次

这虽然还不算完全收干净，但趋势是对的。

### 3. `qf123.net` 基本脱离“纯 404 黑洞”

上一轮：

- `qf123.net`: `other|404 = 169`

这一轮：

- `qf123.net` 已经没有继续出现高位 `other|404`
- `www.qf123.net` 只看到：
  - `home|200 = 2`
  - `home|301 = 1`

这说明：

- 之前那批 `webuploader / upload / fileupload` 噪音，至少在本轮窗口中已经不再是主问题

### 4. `sctyjz.com` 的首页结构比上一轮更分化

上一轮：

- `sctyjz.com`: `home|200 = 12`，`home|301 = 6`，`other|404 = 8`

这一轮：

- `sctyjz.com`: `home|200 = 3`，`other|404 = 8`
- `www.sctyjz.com`: `home|200 = 7`，`home|301 = 1`，`other|404 = 1`

说明：

- 裸域和 `www` 的抓取重心更明显地往 `www` 偏了
- 首页 `301` 的问题在 `www.sctyjz.com` 这一侧已明显下降
- 但旧伪静态 `404` 入口仍未根治

## 本轮没有解决、但结构更清楚的问题

### 1. `yagyjt.com` 仍然是深抓正样本，但深页 `301` 还在高位

本轮统计：

- `detail|200 = 48`
- `detail|301 = 47`
- `play|200 = 19`
- `play|301 = 20`
- `home|200 = 14`
- `home|301 = 4`

对比上一轮：

- `detail|200 = 59`
- `detail|301 = 60`
- `play|200 = 25`
- `play|301 = 22`
- `home|200 = 18`
- `home|301 = 6`

判断：

- 深抓还在，说明正样本地位没丢
- `home|301` 有下降，首页更干净了
- `detail/play` 的 `301` 也略有下降
- 但深页 `301` 和 `200` 仍然接近 1:1，主矛盾没有本质变化

结论：

> `yagyjt.com` 依然不是“有没有深抓”的问题，而是“深抓已经建立，但深页规范化损耗仍然偏高”。

### 2. `www.ningxiaowei.com` 仍然是内容层跳转样本

本轮统计：

- `home|200 = 25`
- `home|301 = 4`
- `other|200 = 24`
- `other|301 = 24`

上一轮：

- `home|200 = 66`
- `home|301 = 5`
- `other|200 = 20`
- `other|301 = 18`

判断：

- 首页 `301` 有所下降
- 但 `other|301` 反而更显眼了
- 异常仍然主要落在：
  - `/video-info/...|301`
  - `/video-play/...|301`

结论：

> `www.ningxiaowei.com` 当前更像“首页稍微更干净了，但内容层历史路径兼容仍在持续吃预算”。

### 3. `junhaolab.com` 仍然只是弱深抓样本

本轮：

- `play|200 = 2`
- `play|301 = 2`

说明：

- 播放页信号还在
- 但量级没有明显放大

## 本轮新增需要重点留意的问题

### 1. `444` 从 `1` 升到 `32`

这轮最值得警惕的新变化就是：

- `444` 明显增加

目前主要出现在：

- `rqgcmc.com`
- `yagyjt.com`
- `www.yagyjt.com`

### 2. `rqgcmc.com` 出现新的拦截型异常

本轮统计：

- `home|200 = 8`
- `home|301 = 4`
- `other|444 = 27`

典型异常：

- `/rqgcmc.com.rar|444`
- `/rqgcmc.com.zip|444`
- `/rqgcmc.rar|444`
- `/rqgcmc.zip|444`
- `/rqgcmc.txt|444`
- `/www.zip|444`
- `/www.rar|444`
- `/wwwroot.rar|444`

判断：

- 这不是内容层问题
- 而是明显的探测、打包、压缩包、站点根目录类异常请求
- 目前这些请求被 `444` 拦掉了

结论：

> 这类 `444` 比 `404` 更像“防探测拦截生效”，从安全上未必是坏事；但从蜘蛛日志观察角度，它仍然属于抓取预算噪音，需要和真正的 SEO 主路径分开看。

### 3. `/zb_system/login.php` 从 `301/404` 变成了 `444`

上一轮高频里：

- `/zb_system/login.php|301`
- `/zb_system/login.php|404`

这一轮高频里：

- `/zb_system/login.php|444 = 4`

判断：

- 这说明后台历史入口仍在被命中
- 只是处理方式从跳转/未找到，变成了直接拦截

## 当前阶段的新结论

本轮比上一轮更适合用“三类变化”来理解：

### 1. 确认改善的

- `404` 大幅下降
- 首页 `/|301` 明显下降
- `qf123.net` 的错误入口黑洞基本消失

### 2. 改善有限但方向正确的

- `yagyjt.com` 首页与深页 `301` 略降
- `sctyjz.com` 的 `www` 侧首页更干净

### 3. 新暴露出来的

- `444` 上升
- 一批探测型、压缩包型、后台入口型异常被直接拦截

## 给主 Codex 的更新建议

### 1. 不要再把当前主矛盾定义成“404 为主”

`2026-04-17` 这轮后，旧式 `404` 入口问题已经明显下降。

现在更应该拆成：

- 深页 `301` 是否还能继续压
- 首页 `/|301` 是否还能继续压
- `444` 是否属于可接受的防探测噪音，还是误伤了正常抓取入口

### 2. `yagyjt.com` 仍然是深抓优化第一观察站

因为：

- 深抓仍在
- 首页更干净了
- 现在更容易观察“深页跳转能否进一步收敛”

### 3. `www.ningxiaowei.com` 仍然是内容层历史路径兼容观察站

因为：

- `video-info / video-play` 仍然频繁出现
- 更适合继续验证 canonical / family / 兼容入口是否完全统一

### 4. `rqgcmc.com` 不应和普通 SEO 站点混在一起判断

它当前的主要问题已经不是内容入口，而是拦截型探测噪音。

### 5. `category` 仍然没有抬头

这一轮没有观察到新的 `category` 扩散信号。

这说明：

- 首页入口虽然在改善
- 但首页 -> 分类 -> 深页 的中继放量还没有明显出现

## 一句话交接

> `2026-04-17` 这轮最大的变化，是旧式 `404` 错误入口明显下降、首页与部分深页 `301` 也在下降，但问题没有完全消失，而是部分转成了 `444` 拦截型噪音；下一步更值得主 Codex 盯的是深页 `301` 压缩和 `444` 是否只是安全噪音而非误伤 SEO 主路径。