401 lines
8.7 KiB
Markdown
401 lines
8.7 KiB
Markdown
# 1271-SEONexus 老模板蜘蛛日志观察交接文档 - 2026-04-16
|
||
|
||
## 目的
|
||
|
||
这份文档用于把本轮老模板蜘蛛日志观察结果，正式交接给主 Codex。
|
||
|
||
本轮遵循：
|
||
|
||
- `01-老模板第一阶段回灌执行文档.md`
|
||
- `1270-SEONexus-Codex多版本协作交接总文档.md`
|
||
|
||
因此本轮定位不是“旧版本自由发挥改一套实现”，而是：
|
||
|
||
- 先观察
|
||
- 先归纳
|
||
- 先分型
|
||
- 给主 Codex 提供下一步 SEO 优先方向
|
||
|
||
## 数据范围
|
||
|
||
- 项目：`SEONexus`
|
||
- 数据来源：`code/storage/domain-spider-crawl/runs/*/*/crawl-logs.summary.json`
|
||
- 观察对象：`baiduspider`
|
||
- 时间窗口：最近 24 小时
|
||
- 观察日期：`2026-04-16`
|
||
|
||
## 本轮总判断
|
||
|
||
当前百度蜘蛛的状态已经比较清楚：
|
||
|
||
1. 百度不是没来，首页抓取已经普遍存在
|
||
2. 深抓不是完全没有，已经有明确正样本
|
||
3. 当前主要问题不是“入口完全断掉”
|
||
4. 当前主要问题是 `301/404` 损耗过高
|
||
5. `category` 仍然弱，说明首页到中继层再到深页的稳定扩散还没普遍形成
|
||
|
||
一句话总结：
|
||
|
||
> 当前老模板第一阶段已经证明百度可以稳定进入首页，且部分站点已经出现真实深抓，但整体抓取预算仍在被首页规范化、深页跳转和历史错误入口大量消耗。
|
||
|
||
## 24 小时总览
|
||
|
||
### 页面类型计数
|
||
|
||
- `home`: `509`
|
||
- `other`: `266`
|
||
- `detail`: `119`
|
||
- `play`: `51`
|
||
- `category`: `2`
|
||
|
||
### 状态码计数
|
||
|
||
- `200`: `532`
|
||
- `301`: `231`
|
||
- `404`: `183`
|
||
- `444`: `1`
|
||
|
||
## 当前最重要的统一信号
|
||
|
||
### 1. 首页已成为百度主入口
|
||
|
||
`home` 是当前最主要页面类型，说明首页入口已经建立。
|
||
|
||
### 2. 深抓已经出现，但还没有大面积扩散
|
||
|
||
`detail` 和 `play` 已经不是零，说明深抓链路不是完全断的。
|
||
|
||
### 3. 最大损耗是 `301` 和 `404`
|
||
|
||
当前最值得优先处理的，不是继续争论“百度有没有来”，而是：
|
||
|
||
- 首页是否直达
|
||
- 深页是否带多余跳转
|
||
- 历史错误入口是否继续吞预算
|
||
|
||
### 4. `category` 仍然偏弱
|
||
|
||
最近 24 小时只有：
|
||
|
||
- `category|200 = 2`
|
||
|
||
说明首页到分类的中继层仍弱，深抓扩散还没进入更稳的阶段。
|
||
|
||
## 当前高频异常路径
|
||
|
||
本轮最明显的异常路径包括：
|
||
|
||
- `/|301`
|
||
- `/zb_system/login.php|301`
|
||
- `/zb_system/login.php|404`
|
||
- `/admin.php|301`
|
||
- 多个 `/voddetail/...|301`
|
||
- 多个 `/vodplay/...|301`
|
||
- 多个 `/video-info/...|301`
|
||
- 多个 `/video-play/...|301`
|
||
- 多个 `/video-show/...|301`
|
||
- `/showchengshi.asp?...|404`
|
||
- 一批 `/index.php/...shtml|404`
|
||
- 一批 `webuploader / upload / fileupload / preview` 类 `404`
|
||
|
||
对应判断：
|
||
|
||
1. 首页规范化还没完全收口
|
||
2. 深页历史路径兼容仍然有明显跳转损耗
|
||
3. 后台和旧脚本路径还在抢抓取预算
|
||
|
||
## 站点分型
|
||
|
||
### A 组：深抓正样本，优先保放量
|
||
|
||
#### `yagyjt.com`
|
||
|
||
核心统计：
|
||
|
||
- `detail|200`: `59`
|
||
- `detail|301`: `60`
|
||
- `play|200`: `25`
|
||
- `play|301`: `22`
|
||
- `home|200`: `18`
|
||
- `home|301`: `6`
|
||
|
||
结论：
|
||
|
||
- 百度已经真实进入详情页和播放页
|
||
- 当前主问题不是“能不能深抓”
|
||
- 当前主问题是“深页 301 太多，正在吃掉已出现的深抓放量”
|
||
|
||
主 Codex 建议：
|
||
|
||
- 优先减少 `detail|301`
|
||
- 优先减少 `play|301`
|
||
- 顺带继续压首页 `/|301`
|
||
- 继续观察 `/zb_system/login.php` 这类噪音入口
|
||
|
||
#### `junhaolab.com`
|
||
|
||
核心统计：
|
||
|
||
- `play|200`: `2`
|
||
- `play|301`: `2`
|
||
|
||
结论：
|
||
|
||
- 这是弱深抓样本
|
||
- 量小，但说明百度已经碰到播放页
|
||
|
||
主 Codex 建议：
|
||
|
||
- 作为次级深抓观察对象
|
||
- 重点看播放页跳转能否收敛
|
||
|
||
### B 组：错误入口高消耗样本，先清噪音
|
||
|
||
#### `qf123.net`
|
||
|
||
核心统计：
|
||
|
||
- `other|404`: `169`
|
||
- `home|200`: `1`
|
||
|
||
典型异常：
|
||
|
||
- `/js/webuploader/demo/server/upload.php|404`
|
||
- `/js/webuploader/demo/server/uploadfile.php|404`
|
||
- `/lib/webuploader-0.1.15/server/file.php|404`
|
||
- `/libs/webuploader/0.1.15/server/fileupload.php|404`
|
||
|
||
结论：
|
||
|
||
- 当前不是深抓问题
|
||
- 当前是错误入口纯消耗问题
|
||
|
||
主 Codex 建议：
|
||
|
||
- 先把这类历史上传组件和旧脚本路径的噪音收敛
|
||
- 在错误入口没下降前，不要把它当深抓效果站
|
||
|
||
#### `sctyjz.com`
|
||
|
||
核心统计：
|
||
|
||
- `home|200`: `12`
|
||
- `home|301`: `6`
|
||
- `other|404`: `8`
|
||
|
||
典型异常：
|
||
|
||
- `/|301`
|
||
- `/index.php/heixj/haoxj/haoxj/...shtml|404`
|
||
|
||
结论：
|
||
|
||
- 首页已开
|
||
- 但首页跳转和历史伪静态错误入口并存
|
||
|
||
主 Codex 建议：
|
||
|
||
- 先压首页 `/|301`
|
||
- 再处理 `/index.php/...shtml` 类旧路径噪音
|
||
|
||
#### `www.ap-hulan.com`
|
||
|
||
核心统计：
|
||
|
||
- `home|200`: `12`
|
||
- `home|301`: `6`
|
||
- `other|301`: `4`
|
||
|
||
典型异常：
|
||
|
||
- `/|301`
|
||
- `/admin.php|301`
|
||
|
||
结论：
|
||
|
||
- 首页已可抓
|
||
- 后台路径仍在分散预算
|
||
|
||
主 Codex 建议：
|
||
|
||
- 先压首页 `301`
|
||
- 再压 `/admin.php` 这类旧后台入口
|
||
|
||
### C 组：首页已起量，但 host 和内容路径仍在吃跳转预算
|
||
|
||
#### `www.ningxiaowei.com`
|
||
|
||
核心统计：
|
||
|
||
- `home|200`: `66`
|
||
- `home|301`: `5`
|
||
- `other|200`: `20`
|
||
- `other|301`: `18`
|
||
|
||
典型异常：
|
||
|
||
- `/|301`
|
||
- `/video-info/...|301`
|
||
- `/video-play/...|301`
|
||
|
||
#### `ningxiaowei.com`
|
||
|
||
核心统计：
|
||
|
||
- `home|200`: `13`
|
||
- `home|301`: `6`
|
||
- `other|200`: `10`
|
||
- `other|301`: `10`
|
||
|
||
结论：
|
||
|
||
- 首页已经起来
|
||
- 裸域和 `www` 都在消耗预算
|
||
- 内容层历史路径也还在持续跳转
|
||
|
||
主 Codex 建议：
|
||
|
||
- 优先收 host 规范
|
||
- 再压首页 `/|301`
|
||
- 再看 `video-info / video-play` 的兼容是否能进一步减损
|
||
|
||
### D 组：首页稳定样本，适合观察规范收口后是否自然扩深
|
||
|
||
#### `www.haotianhaiyuan.com` / `haotianhaiyuan.com`
|
||
|
||
核心统计：
|
||
|
||
- `www.haotianhaiyuan.com`: `home|200 = 44`，`home|301 = 9`
|
||
- `haotianhaiyuan.com`: `home|200 = 29`，`home|301 = 2`，`other|404 = 2`
|
||
|
||
典型异常：
|
||
|
||
- `/|301`
|
||
- `/showchengshi.asp?...|404`
|
||
|
||
#### `hymdrz.com` / `www.hymdrz.com`
|
||
|
||
核心统计：
|
||
|
||
- `hymdrz.com`: `home|200 = 37`，`home|301 = 2`
|
||
- `www.hymdrz.com`: `home|200 = 12`，`home|301 = 6`
|
||
|
||
结论：
|
||
|
||
- 首页抓取已经很稳
|
||
- 当前主要损耗仍是首页规范化和少量 host 分裂
|
||
- 不是高噪音站，也还不是深抓放量站
|
||
|
||
主 Codex 建议：
|
||
|
||
- 把它们作为“首页规范收口样本”
|
||
- 观察首页直达后是否自然向分类页和深页扩散
|
||
|
||
#### 首页稳定观察池
|
||
|
||
代表站点：
|
||
|
||
- `www.hygfbw.com`
|
||
- `www.shxmbz.com`
|
||
- `www.tvwallmountreview.com`
|
||
- `yaleyishu.com`
|
||
- `yqshu8.com`
|
||
- `yahuawang88.com`
|
||
- `www.syzhzs.com`
|
||
- `syzhzs.com`
|
||
|
||
共同模式：
|
||
|
||
- `home|200` 已有
|
||
- `home|301` 仍在
|
||
- 高频异常多为 `/|301`
|
||
|
||
补充信号：
|
||
|
||
- `syzhzs.com` 已出现 `category|200 = 2`
|
||
|
||
结论：
|
||
|
||
- 这批站适合作为“首页已稳、等待分类和深页自然扩散”的观察池
|
||
|
||
## 给主 Codex 的动作优先级
|
||
|
||
### 1. 首页直达化
|
||
|
||
当前最统一、最广泛的问题仍是：
|
||
|
||
- `/|301`
|
||
|
||
主线优化应优先检查：
|
||
|
||
- `http -> https`
|
||
- `www -> 非 www` 或反向规范
|
||
- 首页最终规范地址是否在配置、模板、链接输出中一致
|
||
|
||
### 2. 深页减损
|
||
|
||
对 `yagyjt.com` 这类已验证深抓的站点，优先目标不是“发明新入口”，而是：
|
||
|
||
- 降低 `detail|301`
|
||
- 降低 `play|301`
|
||
|
||
### 3. 错误入口降噪
|
||
|
||
对 `qf123.net`、`sctyjz.com` 这类站点，当前更应该先处理：
|
||
|
||
- 旧后台
|
||
- 旧上传组件
|
||
- 旧伪静态路径
|
||
|
||
### 4. host 规范收敛
|
||
|
||
当前多个站点都存在：
|
||
|
||
- 裸域和 `www` 同时被抓
|
||
- 两边都出现 `home|200` 和 `home|301`
|
||
|
||
主线优化要继续盯：
|
||
|
||
- canonical
|
||
- sitemap
|
||
- 站内链接输出
|
||
- 首页最终规范 host
|
||
|
||
### 5. 分类层继续观察
|
||
|
||
当前 `category|200` 仍然很弱，因此分类层不是这一轮最主要的问题，但需要继续监测。
|
||
|
||
## 建议的主线推进顺序
|
||
|
||
如果主 Codex 要从日志观察进入实现验证，更合理的顺序是：
|
||
|
||
1. 先压首页层 `301`
|
||
2. 再压深页层 `301`
|
||
3. 再清高频错误入口 `404`
|
||
4. 再观察 `category -> detail -> play` 是否自然扩散
|
||
|
||
不建议的顺序是：
|
||
|
||
- 还没把入口损耗压下去，就先大改深抓结构
|
||
|
||
## 本轮本地分析材料
|
||
|
||
本轮观察细节已沉淀在以下本地分析文档：
|
||
|
||
- `code/storage/_analysis/sources/baiduspider.md`
|
||
- `code/storage/_analysis/sources/baiduspider-priority-2026-04-16.md`
|
||
- `code/storage/_analysis/sources/baiduspider-action-checklist-2026-04-16.md`
|
||
- `code/storage/_analysis/domains/yagyjt.com.md`
|
||
- `code/storage/_analysis/domains/qf123.net.md`
|
||
- `code/storage/_analysis/domains/ningxiaowei-hosts.md`
|
||
- `code/storage/_analysis/domains/sctyjz.com.md`
|
||
- `code/storage/_analysis/domains/ap-hulan.com.md`
|
||
- `code/storage/_analysis/domains/haotianhaiyuan-hymdrz-hosts.md`
|
||
- `code/storage/_analysis/domains/home-stable-cluster.md`
|
||
|
||
## 交接结论
|
||
|
||
本轮可以正式交给主 Codex 的核心结论只有一句：
|
||
|
||
> 现在最值得做的不是继续证明蜘蛛有没有来，而是先系统性降低首页、深页和历史错误入口造成的 `301/404` 抓取预算损耗。
|