老模板优化

docs/old-tmp-seo/02-老模板蜘蛛日志观察交接文档-2026-04-16.md

@@ -0,0 +1,400 @@
+# 1271-SEONexus 老模板蜘蛛日志观察交接文档 - 2026-04-16
+
+## 目的
+
+这份文档用于把本轮老模板蜘蛛日志观察结果，正式交接给主 Codex。
+
+本轮遵循：
+
+- `01-老模板第一阶段回灌执行文档.md`
+- `1270-SEONexus-Codex多版本协作交接总文档.md`
+
+因此本轮定位不是“旧版本自由发挥改一套实现”，而是：
+
+- 先观察
+- 先归纳
+- 先分型
+- 给主 Codex 提供下一步 SEO 优先方向
+
+## 数据范围
+
+- 项目：`SEONexus`
+- 数据来源：`code/storage/domain-spider-crawl/runs/*/*/crawl-logs.summary.json`
+- 观察对象：`baiduspider`
+- 时间窗口：最近 24 小时
+- 观察日期：`2026-04-16`
+
+## 本轮总判断
+
+当前百度蜘蛛的状态已经比较清楚：
+
+1. 百度不是没来，首页抓取已经普遍存在
+2. 深抓不是完全没有，已经有明确正样本
+3. 当前主要问题不是“入口完全断掉”
+4. 当前主要问题是 `301/404` 损耗过高
+5. `category` 仍然弱，说明首页到中继层再到深页的稳定扩散还没普遍形成
+
+一句话总结：
+
+> 当前老模板第一阶段已经证明百度可以稳定进入首页，且部分站点已经出现真实深抓，但整体抓取预算仍在被首页规范化、深页跳转和历史错误入口大量消耗。
+
+## 24 小时总览
+
+### 页面类型计数
+
+- `home`: `509`
+- `other`: `266`
+- `detail`: `119`
+- `play`: `51`
+- `category`: `2`
+
+### 状态码计数
+
+- `200`: `532`
+- `301`: `231`
+- `404`: `183`
+- `444`: `1`
+
+## 当前最重要的统一信号
+
+### 1. 首页已成为百度主入口
+
+`home` 是当前最主要页面类型，说明首页入口已经建立。
+
+### 2. 深抓已经出现，但还没有大面积扩散
+
+`detail` 和 `play` 已经不是零，说明深抓链路不是完全断的。
+
+### 3. 最大损耗是 `301` 和 `404`
+
+当前最值得优先处理的，不是继续争论“百度有没有来”，而是：
+
+- 首页是否直达
+- 深页是否带多余跳转
+- 历史错误入口是否继续吞预算
+
+### 4. `category` 仍然偏弱
+
+最近 24 小时只有：
+
+- `category|200 = 2`
+
+说明首页到分类的中继层仍弱，深抓扩散还没进入更稳的阶段。
+
+## 当前高频异常路径
+
+本轮最明显的异常路径包括：
+
+- `/|301`
+- `/zb_system/login.php|301`
+- `/zb_system/login.php|404`
+- `/admin.php|301`
+- 多个 `/voddetail/...|301`
+- 多个 `/vodplay/...|301`
+- 多个 `/video-info/...|301`
+- 多个 `/video-play/...|301`
+- 多个 `/video-show/...|301`
+- `/showchengshi.asp?...|404`
+- 一批 `/index.php/...shtml|404`
+- 一批 `webuploader / upload / fileupload / preview` 类 `404`
+
+对应判断：
+
+1. 首页规范化还没完全收口
+2. 深页历史路径兼容仍然有明显跳转损耗
+3. 后台和旧脚本路径还在抢抓取预算
+
+## 站点分型
+
+### A 组：深抓正样本，优先保放量
+
+#### `yagyjt.com`
+
+核心统计：
+
+- `detail|200`: `59`
+- `detail|301`: `60`
+- `play|200`: `25`
+- `play|301`: `22`
+- `home|200`: `18`
+- `home|301`: `6`
+
+结论：
+
+- 百度已经真实进入详情页和播放页
+- 当前主问题不是“能不能深抓”
+- 当前主问题是“深页 301 太多，正在吃掉已出现的深抓放量”
+
+主 Codex 建议：
+
+- 优先减少 `detail|301`
+- 优先减少 `play|301`
+- 顺带继续压首页 `/|301`
+- 继续观察 `/zb_system/login.php` 这类噪音入口
+
+#### `junhaolab.com`
+
+核心统计：
+
+- `play|200`: `2`
+- `play|301`: `2`
+
+结论：
+
+- 这是弱深抓样本
+- 量小，但说明百度已经碰到播放页
+
+主 Codex 建议：
+
+- 作为次级深抓观察对象
+- 重点看播放页跳转能否收敛
+
+### B 组：错误入口高消耗样本，先清噪音
+
+#### `qf123.net`
+
+核心统计：
+
+- `other|404`: `169`
+- `home|200`: `1`
+
+典型异常：
+
+- `/js/webuploader/demo/server/upload.php|404`
+- `/js/webuploader/demo/server/uploadfile.php|404`
+- `/lib/webuploader-0.1.15/server/file.php|404`
+- `/libs/webuploader/0.1.15/server/fileupload.php|404`
+
+结论：
+
+- 当前不是深抓问题
+- 当前是错误入口纯消耗问题
+
+主 Codex 建议：
+
+- 先把这类历史上传组件和旧脚本路径的噪音收敛
+- 在错误入口没下降前，不要把它当深抓效果站
+
+#### `sctyjz.com`
+
+核心统计：
+
+- `home|200`: `12`
+- `home|301`: `6`
+- `other|404`: `8`
+
+典型异常：
+
+- `/|301`
+- `/index.php/heixj/haoxj/haoxj/...shtml|404`
+
+结论：
+
+- 首页已开
+- 但首页跳转和历史伪静态错误入口并存
+
+主 Codex 建议：
+
+- 先压首页 `/|301`
+- 再处理 `/index.php/...shtml` 类旧路径噪音
+
+#### `www.ap-hulan.com`
+
+核心统计：
+
+- `home|200`: `12`
+- `home|301`: `6`
+- `other|301`: `4`
+
+典型异常：
+
+- `/|301`
+- `/admin.php|301`
+
+结论：
+
+- 首页已可抓
+- 后台路径仍在分散预算
+
+主 Codex 建议：
+
+- 先压首页 `301`
+- 再压 `/admin.php` 这类旧后台入口
+
+### C 组：首页已起量，但 host 和内容路径仍在吃跳转预算
+
+#### `www.ningxiaowei.com`
+
+核心统计：
+
+- `home|200`: `66`
+- `home|301`: `5`
+- `other|200`: `20`
+- `other|301`: `18`
+
+典型异常：
+
+- `/|301`
+- `/video-info/...|301`
+- `/video-play/...|301`
+
+#### `ningxiaowei.com`
+
+核心统计：
+
+- `home|200`: `13`
+- `home|301`: `6`
+- `other|200`: `10`
+- `other|301`: `10`
+
+结论：
+
+- 首页已经起来
+- 裸域和 `www` 都在消耗预算
+- 内容层历史路径也还在持续跳转
+
+主 Codex 建议：
+
+- 优先收 host 规范
+- 再压首页 `/|301`
+- 再看 `video-info / video-play` 的兼容是否能进一步减损
+
+### D 组：首页稳定样本，适合观察规范收口后是否自然扩深
+
+#### `www.haotianhaiyuan.com` / `haotianhaiyuan.com`
+
+核心统计：
+
+- `www.haotianhaiyuan.com`: `home|200 = 44`，`home|301 = 9`
+- `haotianhaiyuan.com`: `home|200 = 29`，`home|301 = 2`，`other|404 = 2`
+
+典型异常：
+
+- `/|301`
+- `/showchengshi.asp?...|404`
+
+#### `hymdrz.com` / `www.hymdrz.com`
+
+核心统计：
+
+- `hymdrz.com`: `home|200 = 37`，`home|301 = 2`
+- `www.hymdrz.com`: `home|200 = 12`，`home|301 = 6`
+
+结论：
+
+- 首页抓取已经很稳
+- 当前主要损耗仍是首页规范化和少量 host 分裂
+- 不是高噪音站，也还不是深抓放量站
+
+主 Codex 建议：
+
+- 把它们作为“首页规范收口样本”
+- 观察首页直达后是否自然向分类页和深页扩散
+
+#### 首页稳定观察池
+
+代表站点：
+
+- `www.hygfbw.com`
+- `www.shxmbz.com`
+- `www.tvwallmountreview.com`
+- `yaleyishu.com`
+- `yqshu8.com`
+- `yahuawang88.com`
+- `www.syzhzs.com`
+- `syzhzs.com`
+
+共同模式：
+
+- `home|200` 已有
+- `home|301` 仍在
+- 高频异常多为 `/|301`
+
+补充信号：
+
+- `syzhzs.com` 已出现 `category|200 = 2`
+
+结论：
+
+- 这批站适合作为“首页已稳、等待分类和深页自然扩散”的观察池
+
+## 给主 Codex 的动作优先级
+
+### 1. 首页直达化
+
+当前最统一、最广泛的问题仍是：
+
+- `/|301`
+
+主线优化应优先检查：
+
+- `http -> https`
+- `www -> 非 www` 或反向规范
+- 首页最终规范地址是否在配置、模板、链接输出中一致
+
+### 2. 深页减损
+
+对 `yagyjt.com` 这类已验证深抓的站点，优先目标不是“发明新入口”，而是：
+
+- 降低 `detail|301`
+- 降低 `play|301`
+
+### 3. 错误入口降噪
+
+对 `qf123.net`、`sctyjz.com` 这类站点，当前更应该先处理：
+
+- 旧后台
+- 旧上传组件
+- 旧伪静态路径
+
+### 4. host 规范收敛
+
+当前多个站点都存在：
+
+- 裸域和 `www` 同时被抓
+- 两边都出现 `home|200` 和 `home|301`
+
+主线优化要继续盯：
+
+- canonical
+- sitemap
+- 站内链接输出
+- 首页最终规范 host
+
+### 5. 分类层继续观察
+
+当前 `category|200` 仍然很弱，因此分类层不是这一轮最主要的问题，但需要继续监测。
+
+## 建议的主线推进顺序
+
+如果主 Codex 要从日志观察进入实现验证，更合理的顺序是：
+
+1. 先压首页层 `301`
+2. 再压深页层 `301`
+3. 再清高频错误入口 `404`
+4. 再观察 `category -> detail -> play` 是否自然扩散
+
+不建议的顺序是：
+
+- 还没把入口损耗压下去，就先大改深抓结构
+
+## 本轮本地分析材料
+
+本轮观察细节已沉淀在以下本地分析文档：
+
+- `code/storage/_analysis/sources/baiduspider.md`
+- `code/storage/_analysis/sources/baiduspider-priority-2026-04-16.md`
+- `code/storage/_analysis/sources/baiduspider-action-checklist-2026-04-16.md`
+- `code/storage/_analysis/domains/yagyjt.com.md`
+- `code/storage/_analysis/domains/qf123.net.md`
+- `code/storage/_analysis/domains/ningxiaowei-hosts.md`
+- `code/storage/_analysis/domains/sctyjz.com.md`
+- `code/storage/_analysis/domains/ap-hulan.com.md`
+- `code/storage/_analysis/domains/haotianhaiyuan-hymdrz-hosts.md`
+- `code/storage/_analysis/domains/home-stable-cluster.md`
+
+## 交接结论
+
+本轮可以正式交给主 Codex 的核心结论只有一句：
+
+> 现在最值得做的不是继续证明蜘蛛有没有来，而是先系统性降低首页、深页和历史错误入口造成的 `301/404` 抓取预算损耗。