# 1271-SEONexus 老模板蜘蛛日志观察交接文档 - 2026-04-16 ## 目的 这份文档用于把本轮老模板蜘蛛日志观察结果,正式交接给主 Codex。 本轮遵循: - `01-老模板第一阶段回灌执行文档.md` - `1270-SEONexus-Codex多版本协作交接总文档.md` 因此本轮定位不是“旧版本自由发挥改一套实现”,而是: - 先观察 - 先归纳 - 先分型 - 给主 Codex 提供下一步 SEO 优先方向 ## 数据范围 - 项目:`SEONexus` - 数据来源:`code/storage/domain-spider-crawl/runs/*/*/crawl-logs.summary.json` - 观察对象:`baiduspider` - 时间窗口:最近 24 小时 - 观察日期:`2026-04-16` ## 本轮总判断 当前百度蜘蛛的状态已经比较清楚: 1. 百度不是没来,首页抓取已经普遍存在 2. 深抓不是完全没有,已经有明确正样本 3. 当前主要问题不是“入口完全断掉” 4. 当前主要问题是 `301/404` 损耗过高 5. `category` 仍然弱,说明首页到中继层再到深页的稳定扩散还没普遍形成 一句话总结: > 当前老模板第一阶段已经证明百度可以稳定进入首页,且部分站点已经出现真实深抓,但整体抓取预算仍在被首页规范化、深页跳转和历史错误入口大量消耗。 ## 24 小时总览 ### 页面类型计数 - `home`: `509` - `other`: `266` - `detail`: `119` - `play`: `51` - `category`: `2` ### 状态码计数 - `200`: `532` - `301`: `231` - `404`: `183` - `444`: `1` ## 当前最重要的统一信号 ### 1. 首页已成为百度主入口 `home` 是当前最主要页面类型,说明首页入口已经建立。 ### 2. 深抓已经出现,但还没有大面积扩散 `detail` 和 `play` 已经不是零,说明深抓链路不是完全断的。 ### 3. 最大损耗是 `301` 和 `404` 当前最值得优先处理的,不是继续争论“百度有没有来”,而是: - 首页是否直达 - 深页是否带多余跳转 - 历史错误入口是否继续吞预算 ### 4. `category` 仍然偏弱 最近 24 小时只有: - `category|200 = 2` 说明首页到分类的中继层仍弱,深抓扩散还没进入更稳的阶段。 ## 当前高频异常路径 本轮最明显的异常路径包括: - `/|301` - `/zb_system/login.php|301` - `/zb_system/login.php|404` - `/admin.php|301` - 多个 `/voddetail/...|301` - 多个 `/vodplay/...|301` - 多个 `/video-info/...|301` - 多个 `/video-play/...|301` - 多个 `/video-show/...|301` - `/showchengshi.asp?...|404` - 一批 `/index.php/...shtml|404` - 一批 `webuploader / upload / fileupload / preview` 类 `404` 对应判断: 1. 首页规范化还没完全收口 2. 深页历史路径兼容仍然有明显跳转损耗 3. 后台和旧脚本路径还在抢抓取预算 ## 站点分型 ### A 组:深抓正样本,优先保放量 #### `yagyjt.com` 核心统计: - `detail|200`: `59` - `detail|301`: `60` - `play|200`: `25` - `play|301`: `22` - `home|200`: `18` - `home|301`: `6` 结论: - 百度已经真实进入详情页和播放页 - 当前主问题不是“能不能深抓” - 当前主问题是“深页 301 太多,正在吃掉已出现的深抓放量” 主 Codex 建议: - 优先减少 `detail|301` - 优先减少 `play|301` - 顺带继续压首页 `/|301` - 继续观察 `/zb_system/login.php` 这类噪音入口 #### `junhaolab.com` 核心统计: - `play|200`: `2` - `play|301`: `2` 结论: - 这是弱深抓样本 - 量小,但说明百度已经碰到播放页 主 Codex 建议: - 作为次级深抓观察对象 - 重点看播放页跳转能否收敛 ### B 组:错误入口高消耗样本,先清噪音 #### `qf123.net` 核心统计: - `other|404`: `169` - `home|200`: `1` 典型异常: - `/js/webuploader/demo/server/upload.php|404` - `/js/webuploader/demo/server/uploadfile.php|404` - `/lib/webuploader-0.1.15/server/file.php|404` - `/libs/webuploader/0.1.15/server/fileupload.php|404` 结论: - 当前不是深抓问题 - 当前是错误入口纯消耗问题 主 Codex 建议: - 先把这类历史上传组件和旧脚本路径的噪音收敛 - 在错误入口没下降前,不要把它当深抓效果站 #### `sctyjz.com` 核心统计: - `home|200`: `12` - `home|301`: `6` - `other|404`: `8` 典型异常: - `/|301` - `/index.php/heixj/haoxj/haoxj/...shtml|404` 结论: - 首页已开 - 但首页跳转和历史伪静态错误入口并存 主 Codex 建议: - 先压首页 `/|301` - 再处理 `/index.php/...shtml` 类旧路径噪音 #### `www.ap-hulan.com` 核心统计: - `home|200`: `12` - `home|301`: `6` - `other|301`: `4` 典型异常: - `/|301` - `/admin.php|301` 结论: - 首页已可抓 - 后台路径仍在分散预算 主 Codex 建议: - 先压首页 `301` - 再压 `/admin.php` 这类旧后台入口 ### C 组:首页已起量,但 host 和内容路径仍在吃跳转预算 #### `www.ningxiaowei.com` 核心统计: - `home|200`: `66` - `home|301`: `5` - `other|200`: `20` - `other|301`: `18` 典型异常: - `/|301` - `/video-info/...|301` - `/video-play/...|301` #### `ningxiaowei.com` 核心统计: - `home|200`: `13` - `home|301`: `6` - `other|200`: `10` - `other|301`: `10` 结论: - 首页已经起来 - 裸域和 `www` 都在消耗预算 - 内容层历史路径也还在持续跳转 主 Codex 建议: - 优先收 host 规范 - 再压首页 `/|301` - 再看 `video-info / video-play` 的兼容是否能进一步减损 ### D 组:首页稳定样本,适合观察规范收口后是否自然扩深 #### `www.haotianhaiyuan.com` / `haotianhaiyuan.com` 核心统计: - `www.haotianhaiyuan.com`: `home|200 = 44`,`home|301 = 9` - `haotianhaiyuan.com`: `home|200 = 29`,`home|301 = 2`,`other|404 = 2` 典型异常: - `/|301` - `/showchengshi.asp?...|404` #### `hymdrz.com` / `www.hymdrz.com` 核心统计: - `hymdrz.com`: `home|200 = 37`,`home|301 = 2` - `www.hymdrz.com`: `home|200 = 12`,`home|301 = 6` 结论: - 首页抓取已经很稳 - 当前主要损耗仍是首页规范化和少量 host 分裂 - 不是高噪音站,也还不是深抓放量站 主 Codex 建议: - 把它们作为“首页规范收口样本” - 观察首页直达后是否自然向分类页和深页扩散 #### 首页稳定观察池 代表站点: - `www.hygfbw.com` - `www.shxmbz.com` - `www.tvwallmountreview.com` - `yaleyishu.com` - `yqshu8.com` - `yahuawang88.com` - `www.syzhzs.com` - `syzhzs.com` 共同模式: - `home|200` 已有 - `home|301` 仍在 - 高频异常多为 `/|301` 补充信号: - `syzhzs.com` 已出现 `category|200 = 2` 结论: - 这批站适合作为“首页已稳、等待分类和深页自然扩散”的观察池 ## 给主 Codex 的动作优先级 ### 1. 首页直达化 当前最统一、最广泛的问题仍是: - `/|301` 主线优化应优先检查: - `http -> https` - `www -> 非 www` 或反向规范 - 首页最终规范地址是否在配置、模板、链接输出中一致 ### 2. 深页减损 对 `yagyjt.com` 这类已验证深抓的站点,优先目标不是“发明新入口”,而是: - 降低 `detail|301` - 降低 `play|301` ### 3. 错误入口降噪 对 `qf123.net`、`sctyjz.com` 这类站点,当前更应该先处理: - 旧后台 - 旧上传组件 - 旧伪静态路径 ### 4. host 规范收敛 当前多个站点都存在: - 裸域和 `www` 同时被抓 - 两边都出现 `home|200` 和 `home|301` 主线优化要继续盯: - canonical - sitemap - 站内链接输出 - 首页最终规范 host ### 5. 分类层继续观察 当前 `category|200` 仍然很弱,因此分类层不是这一轮最主要的问题,但需要继续监测。 ## 建议的主线推进顺序 如果主 Codex 要从日志观察进入实现验证,更合理的顺序是: 1. 先压首页层 `301` 2. 再压深页层 `301` 3. 再清高频错误入口 `404` 4. 再观察 `category -> detail -> play` 是否自然扩散 不建议的顺序是: - 还没把入口损耗压下去,就先大改深抓结构 ## 本轮本地分析材料 本轮观察细节已沉淀在以下本地分析文档: - `code/storage/_analysis/sources/baiduspider.md` - `code/storage/_analysis/sources/baiduspider-priority-2026-04-16.md` - `code/storage/_analysis/sources/baiduspider-action-checklist-2026-04-16.md` - `code/storage/_analysis/domains/yagyjt.com.md` - `code/storage/_analysis/domains/qf123.net.md` - `code/storage/_analysis/domains/ningxiaowei-hosts.md` - `code/storage/_analysis/domains/sctyjz.com.md` - `code/storage/_analysis/domains/ap-hulan.com.md` - `code/storage/_analysis/domains/haotianhaiyuan-hymdrz-hosts.md` - `code/storage/_analysis/domains/home-stable-cluster.md` ## 交接结论 本轮可以正式交给主 Codex 的核心结论只有一句: > 现在最值得做的不是继续证明蜘蛛有没有来,而是先系统性降低首页、深页和历史错误入口造成的 `301/404` 抓取预算损耗。