老模板优化

docs/old-tmp-seo/30-老模板最新蜘蛛日志实战分析-2026-04-17.md

@@ -0,0 +1,542 @@
+# 1299-SEONexus 老模板最新蜘蛛日志实战分析 - 2026-04-17
+
+## 目的
+
+这份文档只服务老模板 `1001-1005` 的 SEO 主线。
+
+目标不是泛泛而谈“蜘蛛有波动”，而是把 `2026-04-17` 当前仓库内最新的 spider workbench 聚合数据，直接翻译成主 Codex 可执行的判断。
+
+明确边界：
+
+- 只看老模板：`videoDadi / videoDingZhu / videoBoKu / videoLaoNiu / videoNuNu`
+- 不把 `videoGpt1` 混进本轮结论
+- 当前重点是百度主线，同时兼看 `bytespider / sogou`
+
+---
+
+## 一、数据来源
+
+本轮结论不能只看单个 `latest` 文件，而要分两层理解：
+
+1. 最近一次 push 摘要
+   - `code/storage/domain-spider-crawl/latest/spider-crawl.summary.json`
+   - `code/storage/domain-spider-crawl/latest/spider-crawl.summary.html`
+2. 工作台 24h 聚合逻辑
+   - `code/app/common/helper/DomainSpiderCrawlWorkbenchHelper.php`
+   - 通过 `buildSummary(...)` 聚合最近窗口内多次 run
+
+这里要特别提醒后续主 Codex：
+
+- `latest/spider-crawl.summary.json` 会被 `SeoCollector::saveCrawlLogs()` 每次新 push 直接覆盖
+- 它代表“最近一次 push 摘要”
+- 不天然等于“最近 24h 全局聚合”
+
+`2026-04-17 20:30` 复核时就已经看到这个现象：
+
+- `latest` 文件只剩一小批最近推送数据
+- 但 workbench 24h 聚合后，老模板依然有连续深抓记录
+
+所以本页正文以下结论，统一以 `WorkbenchHelper::buildSummary(..., windowHours=24, selectedBots=baiduspider,bytespider,sogou)` 为准。
+
+---
+
+## 二、当前全局结论
+
+当前这批老模板域名，按 `2026-04-17 20:30` 的 24h 聚合视角，蜘蛛数据呈现出 4 个非常明确的信号：
+
+1. 已经有百度深抓样本
+   - 不是“完全没抓”
+   - 已经出现 `detail / play` 命中
+2. 入口层仍然偏弱
+   - `robots_requests = 11`
+   - `sitemap_requests = 2`
+   - `category_requests = 1`
+3. 当前异常主因不是 5xx
+   - `500 = 0`
+   - 主要是 `301 / 403 / 444`
+4. 当前最该处理的是“入口质量”和“旧路由信号”
+   - 不是把老模板误判成 GPT 模板结构问题
+
+工作台聚合概览：
+
+- 总请求：`72`
+- 域名数：`14`
+- 蜘蛛数：`2`
+- 首页请求：`33`
+- 分类请求：`1`
+- 详情请求：`21`
+- 播放请求：`4`
+- robots 请求：`11`
+- sitemap 请求：`2`
+- 状态分布：
+  - `200 = 34`
+  - `301 = 24`
+  - `403 = 6`
+  - `444 = 8`
+  - `500 = 0`
+
+这说明当前阶段不是服务整体炸了，而是：
+
+- 百度已经开始进部分深页
+- 但分类层和 sitemap 层仍然明显偏弱
+- 同时入口层的 `403/444` 还在反复拖累蜘蛛体验
+
+---
+
+## 三、已经确认属于老模板的代表域名
+
+本轮已从正式库 `domain` 表确认以下域名及模板归属：
+
+| 域名 | t_id | 模板 |
+| --- | ---: | --- |
+| `proenerji.com` | `1001` | `videoDadi` |
+| `qf123.net` | `1001` | `videoDadi` |
+| `qingyejianshe.com` | `1002` | `videoDingZhu` |
+| `tvwallmountreview.com` | `1002` | `videoDingZhu` |
+| `yagyjt.com` | `1002` | `videoDingZhu` |
+| `ctshuhua.com` | `1003` | `videoBoKu` |
+| `ningxiaowei.com` | `1003` | `videoBoKu` |
+| `yqshu8.com` | `1004` | `videoLaoNiu` |
+| `syzhzs.com` | `1005` | `videoNuNu` |
+| `yahuawang88.com` | `1005` | `videoNuNu` |
+
+所以当前 spider workbench 里这批代表站点，确实就是老模板主线，不是 GPT 模板误入。
+
+---
+
+## 四、最关键的 3 条判断
+
+### 1. 百度已经给了 `yagyjt.com` 深抓机会
+
+这是本轮最重要的正向样本。
+
+工作台给出的状态：
+
+- host：`yagyjt.com`
+- 模板：`1002 / videoDingZhu`
+- 总请求：`28`
+- 深页请求：`16`
+- 详情请求：`12`
+- 播放请求：`4`
+- 首页请求：`6`
+- robots 请求：`3`
+- sitemap 请求：`2`
+- 分类请求：`1`
+
+说明：
+
+- 百度并不是只停留在首页
+- 这个站已经被拉进 detail/play 维度
+- 同时入口层也已经开始探测 `robots / sitemap / category`
+- 它应该被当成老模板第一优先样板站
+
+但它同时也有明显问题：
+
+- `anomaly_count = 18`
+- 深页异常主要是 `301`
+- 命中的 URL 形态是：
+  - `/voddetail/...`
+  - `/vodplay/...`
+
+这说明百度仍然在消费旧路由资产，当前站点靠 `301` 把蜘蛛导向现行规范地址。
+
+结论：
+
+- 这不是致命故障
+- 但会拖慢抓取效率和权重沉淀速度
+- 未来 7 天内，这个站最值得持续观察
+
+### 2. 老模板群的真正短板仍然是“分类层没起量”
+
+最新聚合里：
+
+- `category_requests = 1`
+- `sitemap_requests = 2`
+
+虽然已经不再是绝对 `0`，但这个量级依然远远弱于深页和首页，所以这比单纯的深页 `301` 更值得重视。
+
+因为它意味着：
+
+- 百度当前对老模板站群的抓取入口仍然偏窄
+- 主要仍靠首页或历史旧链接进入
+- 分类页还没有形成稳定抓取面
+- sitemap 也只是开始露头，还没形成可见收益
+
+这也正好验证了本轮已落地的第一批模板修正方向是对的：
+
+1. 分类页 canonical 修正
+2. 分类页 `og:url` 修正
+3. 分类页 JSON-LD `url` 修正
+4. 播放页 canonical / `og:url` / JSON-LD 对齐
+5. sitemap 主输出去掉 `www + novel` 旧噪音
+
+### 2.1 这里还要额外防一个“统计口径误判”
+
+虽然最新 `24h` 聚合里显示：
+
+- `category_requests = 1`
+
+但这条数据不能被机械理解成：
+
+- “蜘蛛完全没有碰过分类页”
+
+原因是：
+
+1. spider workbench 本身不会按 URL 自动识别分类页
+2. 它依赖上游推送时已经写好的 `page_type`
+3. 当前仓库内 `DomainSpiderCrawlLogSchemaHelper` 只做枚举归一，不做 URL 路径识别
+
+也就是：
+
+- 如果前端 spiderlog-agent 把分类 URL 直接标成了 `other`
+- 工作台这里就会继续把它统计成 `other`
+- 最终看起来会像“分类始终为 0”
+
+本轮已经在真实 payload 里看到过一条直接证据：
+
+- run:
+  `20260417/201003_crawl_log_push_f72827`
+- host:
+  `sctyjz.com`
+- url:
+  `/videotype-zong-yi/all-1948-nuo-wei-all/yin-du-yu-page1`
+- 当前标记：
+  `page_type = other`
+- bot:
+  `googlebot`
+- status:
+  `444`
+
+这说明：
+
+- 至少在当前采集链里，分类 URL 被误标成 `other` 是真实存在的
+- 所以后续主 Codex 看 `category_requests = 0` 时，必须同时保留一个判断分支：
+  - 可能是真没抓
+  - 也可能是上游 page_type 归类口径不完整
+
+不过要注意：
+
+- 在我额外抽查的最近数个 `2026-04-17` run 里
+- 暂时还没有找到 `baiduspider / bytespider / sogou` 的分类 URL 被误标成 `other` 的直接样本
+
+所以当前更稳的表达是：
+
+> 老模板分类抓取当前仍然偏弱，而且 `category` 指标本身仍存在口径风险，不能单独作为百度触达面的唯一判断依据。
+
+### 3. `bytespider` 当前不是“没来”，而是“来了但 robots 层体验差”
+
+最新异常里，最高优先级几乎都集中在：
+
+- `qf123.net`
+- `www.proenerji.com`
+- `www.ctshuhua.com`
+- `www.qf123.net`
+- `www.qingyejianshe.com`
+- `www.syzhzs.com`
+- `www.yagyjt.com`
+- `www.tvwallmountreview.com`
+
+共同特征：
+
+- URL：`/robots.txt`
+- bot：`bytespider`
+- 状态：`403 / 444`
+
+这说明：
+
+- 头条蜘蛛不是没探测
+- 它已经反复试图读取入口文件
+- 但当前入口层对它不友好
+
+同时，现有老模板 `robots.txt` 模板里只明确放行了：
+
+- `Baiduspider`
+- `360Spider`
+- `Sogou web spider`
+- `Sogou inst spider`
+- `YisouSpider`
+- `Quarkbot`
+- `Googlebot`
+
+没有显式放行 `Bytespider`。
+
+结论分两层：
+
+1. 从“百度 7 天冲量”主目标看
+   - `bytespider` 不是第一优先级
+   - 不应该压过百度分类/深页主线
+2. 从“国内蜘蛛入口完整度”看
+   - 后续可以单独给老模板 robots 增补 `Bytespider`
+   - 但前提是先确认线上 `403/444` 是否来自模板输出，还是前端防护层
+
+---
+
+## 五、当前不能误判的点
+
+### 1. 不能把 `301` 一律当致命异常
+
+以 `yagyjt.com` 为例，百度命中的是：
+
+- `/voddetail/...`
+- `/vodplay/...`
+
+这更像是历史收录或历史外链还在发挥作用。
+
+如果当前站点已经把它们稳定 `301` 到规范地址，那么它的问题是：
+
+- 抓取成本高
+- 信号绕路
+
+而不是：
+
+- 页面完全打不开
+- 老模板彻底不可抓
+
+### 2. 当前没有证据说明老模板普遍 5xx
+
+最新 24h 聚合里：
+
+- `500 = 0`
+
+所以本轮不能把精力浪费在“怀疑后端整体炸了”上。
+
+更应该盯的是：
+
+- 分类抓取为什么还没起来
+- sitemap 为什么没有形成可见命中
+- 已深抓样板站能不能进一步减少旧路由依赖
+
+### 3. `1270` 不能代替老模板 SEO 主线
+
+`1270` 当前仍然主要是 GPT 模板交接总文档。
+
+老模板这一支继续推进时，应优先参考：
+
+- `1269`
+- `1286`
+- `1287`
+- `1289`
+- `1290`
+- `1291`
+- `1292`
+- `1293`
+- `1294`
+- `1295`
+- `1296`
+- 本文 `1299`
+
+---
+
+## 六、对主 Codex 最有价值的执行建议
+
+### 优先级 A：持续观察并放大 `yagyjt.com`
+
+原因：
+
+- 它已经是百度深抓样板
+- 模板归属明确：`1002 / videoDingZhu`
+- 最适合作为“老模板 7 天冲量”的核心跟踪站
+
+建议动作：
+
+1. 复核 `yagyjt.com` 当前详情页和播放页规范地址是否稳定
+2. 观察旧 `/voddetail`、`/vodplay` 是否始终 301 到唯一规范 URL
+3. 看未来 24-72 小时内，百度是否开始从 `detail/play 301` 转向规范深页 200
+
+### 优先级 B：盯分类层起量，而不是继续沉迷首页
+
+因为最新数据说明：
+
+- 首页已经有命中
+- 深页也不是完全没有
+- 但分类层和 sitemap 层仍然显著偏弱
+
+这意味着后续最该看的提升信号是：
+
+1. 是否开始出现 `category_requests > 0`
+2. 是否开始有分类页 200 被百度命中
+3. 是否由分类页继续向详情页扩散
+
+### 优先级 C：把 `robots` 的国内蜘蛛兼容性单独列为副线
+
+这条线不能抢主线，但也不能完全忽略。
+
+建议：
+
+1. 先确认 `403/444` 是前端防护层行为，还是应用层输出问题
+2. 如果模板输出可控，再评估是否给老模板 `robots.txt` 增补：
+   - `User-agent: Bytespider`
+   - `Allow: /`
+3. 即便要改，也应单独开小任务，不要和百度主线混着验
+
+---
+
+## 七、一句话总结
+
+当前老模板 SEO 主线的真实状态是：
+
+> 百度已经开始给个别老模板站深抓机会，但站群整体仍然缺少分类层放量；短期最值得做的是围绕 `yagyjt.com` 这种已深抓样板站压旧路由成本、盯分类抓取起量，而不是把精力继续带偏到 GPT 模板或不存在的 5xx 故障上。
+
+---
+
+## 八、2026-04-17 晚间追加：工作台 page_type 口径补强已落地
+
+在继续复核真实 payload 后，本轮又确认了一个会直接影响判断的问题：
+
+- spider workbench 的统计高度依赖上游推送的 `page_type`
+- 如果上游把老模板历史路由打成 `other`
+- 工作台就会把真实分类 / 详情 / 播放流量低估掉
+
+### 已确认的真实误标样本
+
+1. 分类页误标
+   - `/videotype-zong-yi/all-1948-nuo-wei-all/yin-du-yu-page1`
+   - 原始 `page_type = other`
+2. 播放页误标
+   - `/video-play/ni-tian-zhi-zun-26066-fengchao-137`
+   - 原始 `page_type = other`
+3. 详情页漏算线索
+   - `www.ningxiaowei.com`
+   - `/video-info/...`
+   - 在最近 run 中由 `baiduspider` 命中 `200 / 301`
+   - 但原始 bucket 仍可能落在 `other`
+
+### 已落地的修正
+
+本轮已在抓取摘要 ingest 阶段增加“路径兜底识别”，仅在上游值为空或为 `other` 时生效：
+
+- 文件：
+  - [DomainSpiderCrawlLogSchemaHelper.php](/www/wwwroot/VideoSource2/code/app/common/helper/DomainSpiderCrawlLogSchemaHelper.php:1)
+  - [DomainSpiderCrawlLogHelper.php](/www/wwwroot/VideoSource2/code/app/common/helper/DomainSpiderCrawlLogHelper.php:1)
+- 兜底识别范围：
+  - `videotype / vodtype / fenlei` -> `category`
+  - `video-info / voddetail / neirong-` -> `detail`
+  - `video-play / vodplay / bf-` -> `play`
+  - `robots.txt` -> `robots`
+  - `sitemap*` -> `sitemap`
+  - `search / get-index` -> `search`
+
+### 本地复核结果
+
+用真实 run：
+
+- `20260417/201003_crawl_log_push_f72827`
+
+重新过 ingest 后，结果已经变为：
+
+1. `/videotype-zong-yi/...` -> `category`
+2. `/video-play/...` -> `play`
+
+这说明：
+
+- 当前 workbench 的老模板分类/播放统计，后续会比之前更接近真实情况
+- `category=0` 这类结论之后必须结合新 ingest 结果再判断
+- 这次修正只影响蜘蛛分析口径，不会直接改动老模板页面输出，也不会直接影响 `videoGpt1` 模板渲染
+
+### 已追加重建 latest 摘要
+
+为了避免 admin2 / workbench 继续读取旧的 `latest` 静态摘要，本轮还额外重建了：
+
+- `code/storage/domain-spider-crawl/latest/spider-crawl.summary.json`
+- `code/storage/domain-spider-crawl/latest/spider-crawl.summary.html`
+
+重建时间：
+
+- `2026-04-17T20:20:54+08:00`
+
+重建后，按最近 `24` 个 run 合并统计得到的页面类型分布为：
+
+- `robots = 281`
+- `home = 77`
+- `detail = 34`
+- `play = 11`
+- `category = 4`
+- `sitemap = 2`
+- `other = 17`
+
+这和修正前相比，至少已经明确证明：
+
+1. 分类页不再是绝对 `0`
+2. 旧 `video-info / video-play / videotype` family 的流量不再全部沉到底部 `other`
+3. 后续再看老模板“百度有没有进分类 / 详情 / 播放”，工作台数据可信度会更高
+
+---
+
+## 九、2026-04-17 20:30 再复核补充
+
+在继续用 `DomainSpiderCrawlWorkbenchHelper::buildSummary(...)` 复核后，当前还要再补 3 条交接级结论。
+
+### 1. 当前正式应以 24h 聚合视角为主，不应以 `latest` 覆盖文件为主
+
+`latest/spider-crawl.summary.json` 在 `20:30` 时已经被新的前端 push 覆盖成一份很小的最近样本。
+
+但同一时刻按 workbench 24h 聚合得到的真实视角仍然是：
+
+- 总请求：`72`
+- 详情：`21`
+- 播放：`4`
+- 分类：`1`
+- sitemap：`2`
+- robots：`11`
+
+因此后续主 Codex 如果看到：
+
+- `latest` 很小
+- 甚至只剩少量 `robots/home`
+
+不要直接判断成：
+
+- 老模板蜘蛛量掉空
+- 深页信号消失
+
+更稳的做法是始终回到 24h 聚合视角看趋势。
+
+### 2. `yagyjt.com` 目前仍是第一样板站，但问题已明确集中到入口层
+
+截至 `20:30` 的 host detail：
+
+- 总请求：`28`
+- 深页请求：`16`
+- 异常：`18`
+- 状态：
+  - `200 = 10`
+  - `301 = 10`
+  - `444 = 7`
+  - `403 = 1`
+
+当前最高优先级异常已经非常集中：
+
+- `/robots.txt`
+- `/sitemap_index.xml`
+- `/videotype/1-dian-ying`
+- `/`
+
+也就是说，这个站已经不是“有没有深抓”的问题，而是：
+
+- 已经深抓
+- 但入口质量还不够稳
+
+所以后续如果要拿一个站做百度 7 天冲量观察，优先还是盯它。
+
+### 3. `www.ningxiaowei.com` 更适合当“深链承接效率”样本
+
+截至 `20:30` 的 host detail：
+
+- 总请求：`8`
+- 深页请求：`8`
+- 全部都是 `detail`
+- 状态：
+  - `200 = 4`
+  - `301 = 4`
+
+它的特点不是入口层扩张，而是：
+
+- 百度已经明确在消费 `/video-info/...` 这类当前有效 family
+- 但还没有看到首页 / 分类 / sitemap 同步扩张
+
+因此它更适合当：
+
+- 详情页 URL family 正确性观察样本
+- 深链 `301 -> 200` 承接效率样本
+
+不适合拿来代替 `yagyjt.com` 做入口层样板。