306 lines
7.2 KiB
Markdown
306 lines
7.2 KiB
Markdown
# 1273-SEONexus 老模板蜘蛛日志观察更新 - 2026-04-17
|
||
|
||
## 目的
|
||
|
||
这份文档用于承接 `1271` 和 `1272` 之后，基于 `2026-04-17` 最新代码与最新蜘蛛日志，再做一轮更新观察。
|
||
|
||
本轮重点不是重新从零分析，而是回答三个问题：
|
||
|
||
1. 相比 `2026-04-16`，整体抓取结构有没有变化
|
||
2. 哪些问题确实改善了
|
||
3. 哪些问题只是从 `301/404` 换成了新的损耗形态
|
||
|
||
## 数据范围
|
||
|
||
- 项目：`SEONexus`
|
||
- 数据来源：`code/storage/domain-spider-crawl/runs/*/*/crawl-logs.summary.json`
|
||
- 观察对象：`baiduspider`
|
||
- 时间窗口：最近 24 小时
|
||
- 观察日期：`2026-04-17`
|
||
|
||
## 与上一轮的核心对比
|
||
|
||
### `2026-04-16`
|
||
|
||
- `home`: `509`
|
||
- `other`: `266`
|
||
- `detail`: `119`
|
||
- `play`: `51`
|
||
- `category`: `2`
|
||
|
||
- `200`: `532`
|
||
- `301`: `231`
|
||
- `404`: `183`
|
||
- `444`: `1`
|
||
|
||
### `2026-04-17`
|
||
|
||
- `home`: `433`
|
||
- `other`: `106`
|
||
- `detail`: `95`
|
||
- `play`: `43`
|
||
- `category`: `0`
|
||
|
||
- `200`: `478`
|
||
- `301`: `158`
|
||
- `404`: `9`
|
||
- `444`: `32`
|
||
|
||
## 第一判断
|
||
|
||
这一轮最明显的变化不是“抓取总量暴涨”，而是“损耗结构明显变化”。
|
||
|
||
一句话总结：
|
||
|
||
> `2026-04-17` 相比 `2026-04-16`，百度蜘蛛的 `404` 大幅下降，`301` 也明显下降，说明旧错误入口和部分跳转损耗确实被压掉了；但同时出现了一批新的 `444` 拦截信号，说明问题并没有完全消失，而是部分从“错误入口消耗”转成了“拦截型消耗”。
|
||
|
||
## 本轮最值得确认的改善
|
||
|
||
### 1. `404` 从 `183` 降到 `9`
|
||
|
||
这是本轮最明确的正向信号。
|
||
|
||
说明：
|
||
|
||
- 之前那批高密度错误入口，不少已经不再继续大量落成 `404`
|
||
- 至少从日志表现上，老的纯错误入口吞预算问题大幅缓解
|
||
|
||
### 2. `301` 从 `231` 降到 `158`
|
||
|
||
说明：
|
||
|
||
- 首页和深页的跳转损耗总体也在下降
|
||
- 尤其是首页 `/|301` 从上一轮的 `98` 次，降到了这轮的 `59` 次
|
||
|
||
这虽然还不算完全收干净，但趋势是对的。
|
||
|
||
### 3. `qf123.net` 基本脱离“纯 404 黑洞”
|
||
|
||
上一轮：
|
||
|
||
- `qf123.net`: `other|404 = 169`
|
||
|
||
这一轮：
|
||
|
||
- `qf123.net` 已经没有继续出现高位 `other|404`
|
||
- `www.qf123.net` 只看到：
|
||
- `home|200 = 2`
|
||
- `home|301 = 1`
|
||
|
||
这说明：
|
||
|
||
- 之前那批 `webuploader / upload / fileupload` 噪音，至少在本轮窗口中已经不再是主问题
|
||
|
||
### 4. `sctyjz.com` 的首页结构比上一轮更分化
|
||
|
||
上一轮：
|
||
|
||
- `sctyjz.com`: `home|200 = 12`，`home|301 = 6`，`other|404 = 8`
|
||
|
||
这一轮：
|
||
|
||
- `sctyjz.com`: `home|200 = 3`，`other|404 = 8`
|
||
- `www.sctyjz.com`: `home|200 = 7`，`home|301 = 1`，`other|404 = 1`
|
||
|
||
说明：
|
||
|
||
- 裸域和 `www` 的抓取重心更明显地往 `www` 偏了
|
||
- 首页 `301` 的问题在 `www.sctyjz.com` 这一侧已明显下降
|
||
- 但旧伪静态 `404` 入口仍未根治
|
||
|
||
## 本轮没有解决、但结构更清楚的问题
|
||
|
||
### 1. `yagyjt.com` 仍然是深抓正样本，但深页 `301` 还在高位
|
||
|
||
本轮统计：
|
||
|
||
- `detail|200 = 48`
|
||
- `detail|301 = 47`
|
||
- `play|200 = 19`
|
||
- `play|301 = 20`
|
||
- `home|200 = 14`
|
||
- `home|301 = 4`
|
||
|
||
对比上一轮：
|
||
|
||
- `detail|200 = 59`
|
||
- `detail|301 = 60`
|
||
- `play|200 = 25`
|
||
- `play|301 = 22`
|
||
- `home|200 = 18`
|
||
- `home|301 = 6`
|
||
|
||
判断：
|
||
|
||
- 深抓还在，说明正样本地位没丢
|
||
- `home|301` 有下降，首页更干净了
|
||
- `detail/play` 的 `301` 也略有下降
|
||
- 但深页 `301` 和 `200` 仍然接近 1:1，主矛盾没有本质变化
|
||
|
||
结论：
|
||
|
||
> `yagyjt.com` 依然不是“有没有深抓”的问题，而是“深抓已经建立，但深页规范化损耗仍然偏高”。
|
||
|
||
### 2. `www.ningxiaowei.com` 仍然是内容层跳转样本
|
||
|
||
本轮统计：
|
||
|
||
- `home|200 = 25`
|
||
- `home|301 = 4`
|
||
- `other|200 = 24`
|
||
- `other|301 = 24`
|
||
|
||
上一轮：
|
||
|
||
- `home|200 = 66`
|
||
- `home|301 = 5`
|
||
- `other|200 = 20`
|
||
- `other|301 = 18`
|
||
|
||
判断：
|
||
|
||
- 首页 `301` 有所下降
|
||
- 但 `other|301` 反而更显眼了
|
||
- 异常仍然主要落在：
|
||
- `/video-info/...|301`
|
||
- `/video-play/...|301`
|
||
|
||
结论：
|
||
|
||
> `www.ningxiaowei.com` 当前更像“首页稍微更干净了，但内容层历史路径兼容仍在持续吃预算”。
|
||
|
||
### 3. `junhaolab.com` 仍然只是弱深抓样本
|
||
|
||
本轮：
|
||
|
||
- `play|200 = 2`
|
||
- `play|301 = 2`
|
||
|
||
说明：
|
||
|
||
- 播放页信号还在
|
||
- 但量级没有明显放大
|
||
|
||
## 本轮新增需要重点留意的问题
|
||
|
||
### 1. `444` 从 `1` 升到 `32`
|
||
|
||
这轮最值得警惕的新变化就是：
|
||
|
||
- `444` 明显增加
|
||
|
||
目前主要出现在：
|
||
|
||
- `rqgcmc.com`
|
||
- `yagyjt.com`
|
||
- `www.yagyjt.com`
|
||
|
||
### 2. `rqgcmc.com` 出现新的拦截型异常
|
||
|
||
本轮统计：
|
||
|
||
- `home|200 = 8`
|
||
- `home|301 = 4`
|
||
- `other|444 = 27`
|
||
|
||
典型异常：
|
||
|
||
- `/rqgcmc.com.rar|444`
|
||
- `/rqgcmc.com.zip|444`
|
||
- `/rqgcmc.rar|444`
|
||
- `/rqgcmc.zip|444`
|
||
- `/rqgcmc.txt|444`
|
||
- `/www.zip|444`
|
||
- `/www.rar|444`
|
||
- `/wwwroot.rar|444`
|
||
|
||
判断：
|
||
|
||
- 这不是内容层问题
|
||
- 而是明显的探测、打包、压缩包、站点根目录类异常请求
|
||
- 目前这些请求被 `444` 拦掉了
|
||
|
||
结论：
|
||
|
||
> 这类 `444` 比 `404` 更像“防探测拦截生效”，从安全上未必是坏事；但从蜘蛛日志观察角度，它仍然属于抓取预算噪音，需要和真正的 SEO 主路径分开看。
|
||
|
||
### 3. `/zb_system/login.php` 从 `301/404` 变成了 `444`
|
||
|
||
上一轮高频里：
|
||
|
||
- `/zb_system/login.php|301`
|
||
- `/zb_system/login.php|404`
|
||
|
||
这一轮高频里：
|
||
|
||
- `/zb_system/login.php|444 = 4`
|
||
|
||
判断：
|
||
|
||
- 这说明后台历史入口仍在被命中
|
||
- 只是处理方式从跳转/未找到，变成了直接拦截
|
||
|
||
## 当前阶段的新结论
|
||
|
||
本轮比上一轮更适合用“三类变化”来理解：
|
||
|
||
### 1. 确认改善的
|
||
|
||
- `404` 大幅下降
|
||
- 首页 `/|301` 明显下降
|
||
- `qf123.net` 的错误入口黑洞基本消失
|
||
|
||
### 2. 改善有限但方向正确的
|
||
|
||
- `yagyjt.com` 首页与深页 `301` 略降
|
||
- `sctyjz.com` 的 `www` 侧首页更干净
|
||
|
||
### 3. 新暴露出来的
|
||
|
||
- `444` 上升
|
||
- 一批探测型、压缩包型、后台入口型异常被直接拦截
|
||
|
||
## 给主 Codex 的更新建议
|
||
|
||
### 1. 不要再把当前主矛盾定义成“404 为主”
|
||
|
||
`2026-04-17` 这轮后，旧式 `404` 入口问题已经明显下降。
|
||
|
||
现在更应该拆成：
|
||
|
||
- 深页 `301` 是否还能继续压
|
||
- 首页 `/|301` 是否还能继续压
|
||
- `444` 是否属于可接受的防探测噪音，还是误伤了正常抓取入口
|
||
|
||
### 2. `yagyjt.com` 仍然是深抓优化第一观察站
|
||
|
||
因为：
|
||
|
||
- 深抓仍在
|
||
- 首页更干净了
|
||
- 现在更容易观察“深页跳转能否进一步收敛”
|
||
|
||
### 3. `www.ningxiaowei.com` 仍然是内容层历史路径兼容观察站
|
||
|
||
因为：
|
||
|
||
- `video-info / video-play` 仍然频繁出现
|
||
- 更适合继续验证 canonical / family / 兼容入口是否完全统一
|
||
|
||
### 4. `rqgcmc.com` 不应和普通 SEO 站点混在一起判断
|
||
|
||
它当前的主要问题已经不是内容入口，而是拦截型探测噪音。
|
||
|
||
### 5. `category` 仍然没有抬头
|
||
|
||
这一轮没有观察到新的 `category` 扩散信号。
|
||
|
||
这说明：
|
||
|
||
- 首页入口虽然在改善
|
||
- 但首页 -> 分类 -> 深页 的中继放量还没有明显出现
|
||
|
||
## 一句话交接
|
||
|
||
> `2026-04-17` 这轮最大的变化，是旧式 `404` 错误入口明显下降、首页与部分深页 `301` 也在下降，但问题没有完全消失，而是部分转成了 `444` 拦截型噪音；下一步更值得主 Codex 盯的是深页 `301` 压缩和 `444` 是否只是安全噪音而非误伤 SEO 主路径。
|