SEONexus/docs/old-tmp-seo/02-老模板蜘蛛日志观察交接文档-2026-04-16.md

1271-SEONexus 老模板蜘蛛日志观察交接文档 - 2026-04-16

目的

这份文档用于把本轮老模板蜘蛛日志观察结果，正式交接给主 Codex。

本轮遵循：

• 01-老模板第一阶段回灌执行文档.md
• 1270-SEONexus-Codex多版本协作交接总文档.md

因此本轮定位不是“旧版本自由发挥改一套实现”，而是：

• 先观察
• 先归纳
• 先分型
• 给主 Codex 提供下一步 SEO 优先方向

数据范围

• 项目：SEONexus
• 数据来源：code/storage/domain-spider-crawl/runs/*/*/crawl-logs.summary.json
• 观察对象：baiduspider
• 时间窗口：最近 24 小时
• 观察日期：2026-04-16

本轮总判断

当前百度蜘蛛的状态已经比较清楚：

1. 百度不是没来，首页抓取已经普遍存在
2. 深抓不是完全没有，已经有明确正样本
3. 当前主要问题不是“入口完全断掉”
4. 当前主要问题是 301/404 损耗过高
5. category 仍然弱，说明首页到中继层再到深页的稳定扩散还没普遍形成

一句话总结：

当前老模板第一阶段已经证明百度可以稳定进入首页，且部分站点已经出现真实深抓，但整体抓取预算仍在被首页规范化、深页跳转和历史错误入口大量消耗。

24 小时总览

页面类型计数

• home: 509
• other: 266
• detail: 119
• play: 51
• category: 2

状态码计数

• 200: 532
• 301: 231
• 404: 183
• 444: 1

当前最重要的统一信号

1. 首页已成为百度主入口

home 是当前最主要页面类型，说明首页入口已经建立。

2. 深抓已经出现，但还没有大面积扩散

detail 和 play 已经不是零，说明深抓链路不是完全断的。

3. 最大损耗是 301 和 404

当前最值得优先处理的，不是继续争论“百度有没有来”，而是：

• 首页是否直达
• 深页是否带多余跳转
• 历史错误入口是否继续吞预算

4. category 仍然偏弱

最近 24 小时只有：

• category|200 = 2

说明首页到分类的中继层仍弱，深抓扩散还没进入更稳的阶段。

当前高频异常路径

本轮最明显的异常路径包括：

• /|301
• /zb_system/login.php|301
• /zb_system/login.php|404
• /admin.php|301
• 多个 /voddetail/...|301
• 多个 /vodplay/...|301
• 多个 /video-info/...|301
• 多个 /video-play/...|301
• 多个 /video-show/...|301
• /showchengshi.asp?...|404
• 一批 /index.php/...shtml|404
• 一批 webuploader / upload / fileupload / preview 类 404

对应判断：

1. 首页规范化还没完全收口
2. 深页历史路径兼容仍然有明显跳转损耗
3. 后台和旧脚本路径还在抢抓取预算

站点分型

A 组：深抓正样本，优先保放量

yagyjt.com

核心统计：

• detail|200: 59
• detail|301: 60
• play|200: 25
• play|301: 22
• home|200: 18
• home|301: 6

结论：

• 百度已经真实进入详情页和播放页
• 当前主问题不是“能不能深抓”
• 当前主问题是“深页 301 太多，正在吃掉已出现的深抓放量”

主 Codex 建议：

• 优先减少 detail|301
• 优先减少 play|301
• 顺带继续压首页 /|301
• 继续观察 /zb_system/login.php 这类噪音入口

junhaolab.com

核心统计：

• play|200: 2
• play|301: 2

结论：

• 这是弱深抓样本
• 量小，但说明百度已经碰到播放页

主 Codex 建议：

• 作为次级深抓观察对象
• 重点看播放页跳转能否收敛

B 组：错误入口高消耗样本，先清噪音

qf123.net

核心统计：

• other|404: 169
• home|200: 1

典型异常：

• /js/webuploader/demo/server/upload.php|404
• /js/webuploader/demo/server/uploadfile.php|404
• /lib/webuploader-0.1.15/server/file.php|404
• /libs/webuploader/0.1.15/server/fileupload.php|404

结论：

• 当前不是深抓问题
• 当前是错误入口纯消耗问题

主 Codex 建议：

• 先把这类历史上传组件和旧脚本路径的噪音收敛
• 在错误入口没下降前，不要把它当深抓效果站

sctyjz.com

核心统计：

• home|200: 12
• home|301: 6
• other|404: 8

典型异常：

• /|301
• /index.php/heixj/haoxj/haoxj/...shtml|404

结论：

• 首页已开
• 但首页跳转和历史伪静态错误入口并存

主 Codex 建议：

• 先压首页 /|301
• 再处理 /index.php/...shtml 类旧路径噪音

www.ap-hulan.com

核心统计：

• home|200: 12
• home|301: 6
• other|301: 4

典型异常：

• /|301
• /admin.php|301

结论：

• 首页已可抓
• 后台路径仍在分散预算

主 Codex 建议：

• 先压首页 301
• 再压 /admin.php 这类旧后台入口

C 组：首页已起量，但 host 和内容路径仍在吃跳转预算

www.ningxiaowei.com

核心统计：

• home|200: 66
• home|301: 5
• other|200: 20
• other|301: 18

典型异常：

• /|301
• /video-info/...|301
• /video-play/...|301

ningxiaowei.com

核心统计：

• home|200: 13
• home|301: 6
• other|200: 10
• other|301: 10

结论：

• 首页已经起来
• 裸域和 www 都在消耗预算
• 内容层历史路径也还在持续跳转

主 Codex 建议：

• 优先收 host 规范
• 再压首页 /|301
• 再看 video-info / video-play 的兼容是否能进一步减损

D 组：首页稳定样本，适合观察规范收口后是否自然扩深

www.haotianhaiyuan.com / haotianhaiyuan.com

核心统计：

• www.haotianhaiyuan.com: home|200 = 44，home|301 = 9
• haotianhaiyuan.com: home|200 = 29，home|301 = 2，other|404 = 2

典型异常：

• /|301
• /showchengshi.asp?...|404

hymdrz.com / www.hymdrz.com

核心统计：

• hymdrz.com: home|200 = 37，home|301 = 2
• www.hymdrz.com: home|200 = 12，home|301 = 6

结论：

• 首页抓取已经很稳
• 当前主要损耗仍是首页规范化和少量 host 分裂
• 不是高噪音站，也还不是深抓放量站

主 Codex 建议：

• 把它们作为“首页规范收口样本”
• 观察首页直达后是否自然向分类页和深页扩散

首页稳定观察池

代表站点：

• www.hygfbw.com
• www.shxmbz.com
• www.tvwallmountreview.com
• yaleyishu.com
• yqshu8.com
• yahuawang88.com
• www.syzhzs.com
• syzhzs.com

共同模式：

• home|200 已有
• home|301 仍在
• 高频异常多为 /|301

补充信号：

• syzhzs.com 已出现 category|200 = 2

结论：

• 这批站适合作为“首页已稳、等待分类和深页自然扩散”的观察池

给主 Codex 的动作优先级

1. 首页直达化

当前最统一、最广泛的问题仍是：

• /|301

主线优化应优先检查：

• http -> https
• www -> 非 www 或反向规范
• 首页最终规范地址是否在配置、模板、链接输出中一致

2. 深页减损

对 yagyjt.com 这类已验证深抓的站点，优先目标不是“发明新入口”，而是：

• 降低 detail|301
• 降低 play|301

3. 错误入口降噪

对 qf123.net、sctyjz.com 这类站点，当前更应该先处理：

• 旧后台
• 旧上传组件
• 旧伪静态路径

4. host 规范收敛

当前多个站点都存在：

• 裸域和 www 同时被抓
• 两边都出现 home|200 和 home|301

主线优化要继续盯：

• canonical
• sitemap
• 站内链接输出
• 首页最终规范 host

5. 分类层继续观察

当前 category|200 仍然很弱，因此分类层不是这一轮最主要的问题，但需要继续监测。

建议的主线推进顺序

如果主 Codex 要从日志观察进入实现验证，更合理的顺序是：

1. 先压首页层 301
2. 再压深页层 301
3. 再清高频错误入口 404
4. 再观察 category -> detail -> play 是否自然扩散

不建议的顺序是：

• 还没把入口损耗压下去，就先大改深抓结构

本轮本地分析材料

本轮观察细节已沉淀在以下本地分析文档：

• code/storage/_analysis/sources/baiduspider.md
• code/storage/_analysis/sources/baiduspider-priority-2026-04-16.md
• code/storage/_analysis/sources/baiduspider-action-checklist-2026-04-16.md
• code/storage/_analysis/domains/yagyjt.com.md
• code/storage/_analysis/domains/qf123.net.md
• code/storage/_analysis/domains/ningxiaowei-hosts.md
• code/storage/_analysis/domains/sctyjz.com.md
• code/storage/_analysis/domains/ap-hulan.com.md
• code/storage/_analysis/domains/haotianhaiyuan-hymdrz-hosts.md
• code/storage/_analysis/domains/home-stable-cluster.md

交接结论

本轮可以正式交给主 Codex 的核心结论只有一句：

现在最值得做的不是继续证明蜘蛛有没有来，而是先系统性降低首页、深页和历史错误入口造成的 301/404 抓取预算损耗。