SEONexus/docs/old-tmp-seo/04-老模板蜘蛛日志观察更新-2026-04-17.md

1273-SEONexus 老模板蜘蛛日志观察更新 - 2026-04-17

目的

这份文档用于承接 1271 和 1272 之后，基于 2026-04-17 最新代码与最新蜘蛛日志，再做一轮更新观察。

本轮重点不是重新从零分析，而是回答三个问题：

1. 相比 2026-04-16，整体抓取结构有没有变化
2. 哪些问题确实改善了
3. 哪些问题只是从 301/404 换成了新的损耗形态

数据范围

• 项目：SEONexus
• 数据来源：code/storage/domain-spider-crawl/runs/*/*/crawl-logs.summary.json
• 观察对象：baiduspider
• 时间窗口：最近 24 小时
• 观察日期：2026-04-17

与上一轮的核心对比

2026-04-16

• home: 509

• other: 266

• detail: 119

• play: 51

• category: 2

• 200: 532

• 301: 231

• 404: 183

• 444: 1

2026-04-17

• home: 433

• other: 106

• detail: 95

• play: 43

• category: 0

• 200: 478

• 301: 158

• 404: 9

• 444: 32

第一判断

这一轮最明显的变化不是“抓取总量暴涨”，而是“损耗结构明显变化”。

一句话总结：

2026-04-17 相比 2026-04-16，百度蜘蛛的 404 大幅下降，301 也明显下降，说明旧错误入口和部分跳转损耗确实被压掉了；但同时出现了一批新的 444 拦截信号，说明问题并没有完全消失，而是部分从“错误入口消耗”转成了“拦截型消耗”。

本轮最值得确认的改善

1. 404 从 183 降到 9

这是本轮最明确的正向信号。

说明：

• 之前那批高密度错误入口，不少已经不再继续大量落成 404
• 至少从日志表现上，老的纯错误入口吞预算问题大幅缓解

2. 301 从 231 降到 158

说明：

• 首页和深页的跳转损耗总体也在下降
• 尤其是首页 /|301 从上一轮的 98 次，降到了这轮的 59 次

这虽然还不算完全收干净，但趋势是对的。

3. qf123.net 基本脱离“纯 404 黑洞”

上一轮：

• qf123.net: other|404 = 169

这一轮：

• qf123.net 已经没有继续出现高位 other|404
• www.qf123.net 只看到：
  • home|200 = 2
  • home|301 = 1

这说明：

• 之前那批 webuploader / upload / fileupload 噪音，至少在本轮窗口中已经不再是主问题

4. sctyjz.com 的首页结构比上一轮更分化

上一轮：

• sctyjz.com: home|200 = 12，home|301 = 6，other|404 = 8

这一轮：

• sctyjz.com: home|200 = 3，other|404 = 8
• www.sctyjz.com: home|200 = 7，home|301 = 1，other|404 = 1

说明：

• 裸域和 www 的抓取重心更明显地往 www 偏了
• 首页 301 的问题在 www.sctyjz.com 这一侧已明显下降
• 但旧伪静态 404 入口仍未根治

本轮没有解决、但结构更清楚的问题

1. yagyjt.com 仍然是深抓正样本，但深页 301 还在高位

本轮统计：

• detail|200 = 48
• detail|301 = 47
• play|200 = 19
• play|301 = 20
• home|200 = 14
• home|301 = 4

对比上一轮：

• detail|200 = 59
• detail|301 = 60
• play|200 = 25
• play|301 = 22
• home|200 = 18
• home|301 = 6

判断：

• 深抓还在，说明正样本地位没丢
• home|301 有下降，首页更干净了
• detail/play 的 301 也略有下降
• 但深页 301 和 200 仍然接近 1:1，主矛盾没有本质变化

结论：

yagyjt.com 依然不是“有没有深抓”的问题，而是“深抓已经建立，但深页规范化损耗仍然偏高”。

2. www.ningxiaowei.com 仍然是内容层跳转样本

本轮统计：

• home|200 = 25
• home|301 = 4
• other|200 = 24
• other|301 = 24

上一轮：

• home|200 = 66
• home|301 = 5
• other|200 = 20
• other|301 = 18

判断：

• 首页 301 有所下降
• 但 other|301 反而更显眼了
• 异常仍然主要落在：
  • /video-info/...|301
  • /video-play/...|301

结论：

www.ningxiaowei.com 当前更像“首页稍微更干净了，但内容层历史路径兼容仍在持续吃预算”。

3. junhaolab.com 仍然只是弱深抓样本

本轮：

• play|200 = 2
• play|301 = 2

说明：

• 播放页信号还在
• 但量级没有明显放大

本轮新增需要重点留意的问题

1. 444 从 1 升到 32

这轮最值得警惕的新变化就是：

• 444 明显增加

目前主要出现在：

• rqgcmc.com
• yagyjt.com
• www.yagyjt.com

2. rqgcmc.com 出现新的拦截型异常

本轮统计：

• home|200 = 8
• home|301 = 4
• other|444 = 27

典型异常：

• /rqgcmc.com.rar|444
• /rqgcmc.com.zip|444
• /rqgcmc.rar|444
• /rqgcmc.zip|444
• /rqgcmc.txt|444
• /www.zip|444
• /www.rar|444
• /wwwroot.rar|444

判断：

• 这不是内容层问题
• 而是明显的探测、打包、压缩包、站点根目录类异常请求
• 目前这些请求被 444 拦掉了

结论：

这类 444 比 404 更像“防探测拦截生效”，从安全上未必是坏事；但从蜘蛛日志观察角度，它仍然属于抓取预算噪音，需要和真正的 SEO 主路径分开看。

3. /zb_system/login.php 从 301/404 变成了 444

上一轮高频里：

• /zb_system/login.php|301
• /zb_system/login.php|404

这一轮高频里：

• /zb_system/login.php|444 = 4

判断：

• 这说明后台历史入口仍在被命中
• 只是处理方式从跳转/未找到，变成了直接拦截

当前阶段的新结论

本轮比上一轮更适合用“三类变化”来理解：

1. 确认改善的

• 404 大幅下降
• 首页 /|301 明显下降
• qf123.net 的错误入口黑洞基本消失

2. 改善有限但方向正确的

• yagyjt.com 首页与深页 301 略降
• sctyjz.com 的 www 侧首页更干净

3. 新暴露出来的

• 444 上升
• 一批探测型、压缩包型、后台入口型异常被直接拦截

给主 Codex 的更新建议

1. 不要再把当前主矛盾定义成“404 为主”

2026-04-17 这轮后，旧式 404 入口问题已经明显下降。

现在更应该拆成：

• 深页 301 是否还能继续压
• 首页 /|301 是否还能继续压
• 444 是否属于可接受的防探测噪音，还是误伤了正常抓取入口

2. yagyjt.com 仍然是深抓优化第一观察站

因为：

• 深抓仍在
• 首页更干净了
• 现在更容易观察“深页跳转能否进一步收敛”

3. www.ningxiaowei.com 仍然是内容层历史路径兼容观察站

因为：

• video-info / video-play 仍然频繁出现
• 更适合继续验证 canonical / family / 兼容入口是否完全统一

4. rqgcmc.com 不应和普通 SEO 站点混在一起判断

它当前的主要问题已经不是内容入口，而是拦截型探测噪音。

5. category 仍然没有抬头

这一轮没有观察到新的 category 扩散信号。

这说明：

• 首页入口虽然在改善
• 但首页 -> 分类 -> 深页 的中继放量还没有明显出现

一句话交接

2026-04-17 这轮最大的变化，是旧式 404 错误入口明显下降、首页与部分深页 301 也在下降，但问题没有完全消失，而是部分转成了 444 拦截型噪音；下一步更值得主 Codex 盯的是深页 301 压缩和 444 是否只是安全噪音而非误伤 SEO 主路径。