543 lines
15 KiB
Markdown
543 lines
15 KiB
Markdown
# 1299-SEONexus 老模板最新蜘蛛日志实战分析 - 2026-04-17
|
||
|
||
## 目的
|
||
|
||
这份文档只服务老模板 `1001-1005` 的 SEO 主线。
|
||
|
||
目标不是泛泛而谈“蜘蛛有波动”，而是把 `2026-04-17` 当前仓库内最新的 spider workbench 聚合数据，直接翻译成主 Codex 可执行的判断。
|
||
|
||
明确边界：
|
||
|
||
- 只看老模板：`videoDadi / videoDingZhu / videoBoKu / videoLaoNiu / videoNuNu`
|
||
- 不把 `videoGpt1` 混进本轮结论
|
||
- 当前重点是百度主线，同时兼看 `bytespider / sogou`
|
||
|
||
---
|
||
|
||
## 一、数据来源
|
||
|
||
本轮结论不能只看单个 `latest` 文件，而要分两层理解：
|
||
|
||
1. 最近一次 push 摘要
|
||
- `code/storage/domain-spider-crawl/latest/spider-crawl.summary.json`
|
||
- `code/storage/domain-spider-crawl/latest/spider-crawl.summary.html`
|
||
2. 工作台 24h 聚合逻辑
|
||
- `code/app/common/helper/DomainSpiderCrawlWorkbenchHelper.php`
|
||
- 通过 `buildSummary(...)` 聚合最近窗口内多次 run
|
||
|
||
这里要特别提醒后续主 Codex：
|
||
|
||
- `latest/spider-crawl.summary.json` 会被 `SeoCollector::saveCrawlLogs()` 每次新 push 直接覆盖
|
||
- 它代表“最近一次 push 摘要”
|
||
- 不天然等于“最近 24h 全局聚合”
|
||
|
||
`2026-04-17 20:30` 复核时就已经看到这个现象：
|
||
|
||
- `latest` 文件只剩一小批最近推送数据
|
||
- 但 workbench 24h 聚合后，老模板依然有连续深抓记录
|
||
|
||
所以本页正文以下结论，统一以 `WorkbenchHelper::buildSummary(..., windowHours=24, selectedBots=baiduspider,bytespider,sogou)` 为准。
|
||
|
||
---
|
||
|
||
## 二、当前全局结论
|
||
|
||
当前这批老模板域名，按 `2026-04-17 20:30` 的 24h 聚合视角，蜘蛛数据呈现出 4 个非常明确的信号：
|
||
|
||
1. 已经有百度深抓样本
|
||
- 不是“完全没抓”
|
||
- 已经出现 `detail / play` 命中
|
||
2. 入口层仍然偏弱
|
||
- `robots_requests = 11`
|
||
- `sitemap_requests = 2`
|
||
- `category_requests = 1`
|
||
3. 当前异常主因不是 5xx
|
||
- `500 = 0`
|
||
- 主要是 `301 / 403 / 444`
|
||
4. 当前最该处理的是“入口质量”和“旧路由信号”
|
||
- 不是把老模板误判成 GPT 模板结构问题
|
||
|
||
工作台聚合概览：
|
||
|
||
- 总请求：`72`
|
||
- 域名数：`14`
|
||
- 蜘蛛数：`2`
|
||
- 首页请求：`33`
|
||
- 分类请求：`1`
|
||
- 详情请求：`21`
|
||
- 播放请求：`4`
|
||
- robots 请求：`11`
|
||
- sitemap 请求：`2`
|
||
- 状态分布：
|
||
- `200 = 34`
|
||
- `301 = 24`
|
||
- `403 = 6`
|
||
- `444 = 8`
|
||
- `500 = 0`
|
||
|
||
这说明当前阶段不是服务整体炸了，而是：
|
||
|
||
- 百度已经开始进部分深页
|
||
- 但分类层和 sitemap 层仍然明显偏弱
|
||
- 同时入口层的 `403/444` 还在反复拖累蜘蛛体验
|
||
|
||
---
|
||
|
||
## 三、已经确认属于老模板的代表域名
|
||
|
||
本轮已从正式库 `domain` 表确认以下域名及模板归属：
|
||
|
||
| 域名 | t_id | 模板 |
|
||
| --- | ---: | --- |
|
||
| `proenerji.com` | `1001` | `videoDadi` |
|
||
| `qf123.net` | `1001` | `videoDadi` |
|
||
| `qingyejianshe.com` | `1002` | `videoDingZhu` |
|
||
| `tvwallmountreview.com` | `1002` | `videoDingZhu` |
|
||
| `yagyjt.com` | `1002` | `videoDingZhu` |
|
||
| `ctshuhua.com` | `1003` | `videoBoKu` |
|
||
| `ningxiaowei.com` | `1003` | `videoBoKu` |
|
||
| `yqshu8.com` | `1004` | `videoLaoNiu` |
|
||
| `syzhzs.com` | `1005` | `videoNuNu` |
|
||
| `yahuawang88.com` | `1005` | `videoNuNu` |
|
||
|
||
所以当前 spider workbench 里这批代表站点，确实就是老模板主线，不是 GPT 模板误入。
|
||
|
||
---
|
||
|
||
## 四、最关键的 3 条判断
|
||
|
||
### 1. 百度已经给了 `yagyjt.com` 深抓机会
|
||
|
||
这是本轮最重要的正向样本。
|
||
|
||
工作台给出的状态：
|
||
|
||
- host：`yagyjt.com`
|
||
- 模板：`1002 / videoDingZhu`
|
||
- 总请求：`28`
|
||
- 深页请求：`16`
|
||
- 详情请求：`12`
|
||
- 播放请求：`4`
|
||
- 首页请求：`6`
|
||
- robots 请求：`3`
|
||
- sitemap 请求：`2`
|
||
- 分类请求：`1`
|
||
|
||
说明：
|
||
|
||
- 百度并不是只停留在首页
|
||
- 这个站已经被拉进 detail/play 维度
|
||
- 同时入口层也已经开始探测 `robots / sitemap / category`
|
||
- 它应该被当成老模板第一优先样板站
|
||
|
||
但它同时也有明显问题：
|
||
|
||
- `anomaly_count = 18`
|
||
- 深页异常主要是 `301`
|
||
- 命中的 URL 形态是：
|
||
- `/voddetail/...`
|
||
- `/vodplay/...`
|
||
|
||
这说明百度仍然在消费旧路由资产，当前站点靠 `301` 把蜘蛛导向现行规范地址。
|
||
|
||
结论：
|
||
|
||
- 这不是致命故障
|
||
- 但会拖慢抓取效率和权重沉淀速度
|
||
- 未来 7 天内，这个站最值得持续观察
|
||
|
||
### 2. 老模板群的真正短板仍然是“分类层没起量”
|
||
|
||
最新聚合里：
|
||
|
||
- `category_requests = 1`
|
||
- `sitemap_requests = 2`
|
||
|
||
虽然已经不再是绝对 `0`，但这个量级依然远远弱于深页和首页，所以这比单纯的深页 `301` 更值得重视。
|
||
|
||
因为它意味着：
|
||
|
||
- 百度当前对老模板站群的抓取入口仍然偏窄
|
||
- 主要仍靠首页或历史旧链接进入
|
||
- 分类页还没有形成稳定抓取面
|
||
- sitemap 也只是开始露头，还没形成可见收益
|
||
|
||
这也正好验证了本轮已落地的第一批模板修正方向是对的：
|
||
|
||
1. 分类页 canonical 修正
|
||
2. 分类页 `og:url` 修正
|
||
3. 分类页 JSON-LD `url` 修正
|
||
4. 播放页 canonical / `og:url` / JSON-LD 对齐
|
||
5. sitemap 主输出去掉 `www + novel` 旧噪音
|
||
|
||
### 2.1 这里还要额外防一个“统计口径误判”
|
||
|
||
虽然最新 `24h` 聚合里显示：
|
||
|
||
- `category_requests = 1`
|
||
|
||
但这条数据不能被机械理解成：
|
||
|
||
- “蜘蛛完全没有碰过分类页”
|
||
|
||
原因是：
|
||
|
||
1. spider workbench 本身不会按 URL 自动识别分类页
|
||
2. 它依赖上游推送时已经写好的 `page_type`
|
||
3. 当前仓库内 `DomainSpiderCrawlLogSchemaHelper` 只做枚举归一，不做 URL 路径识别
|
||
|
||
也就是：
|
||
|
||
- 如果前端 spiderlog-agent 把分类 URL 直接标成了 `other`
|
||
- 工作台这里就会继续把它统计成 `other`
|
||
- 最终看起来会像“分类始终为 0”
|
||
|
||
本轮已经在真实 payload 里看到过一条直接证据：
|
||
|
||
- run:
|
||
`20260417/201003_crawl_log_push_f72827`
|
||
- host:
|
||
`sctyjz.com`
|
||
- url:
|
||
`/videotype-zong-yi/all-1948-nuo-wei-all/yin-du-yu-page1`
|
||
- 当前标记：
|
||
`page_type = other`
|
||
- bot:
|
||
`googlebot`
|
||
- status:
|
||
`444`
|
||
|
||
这说明：
|
||
|
||
- 至少在当前采集链里，分类 URL 被误标成 `other` 是真实存在的
|
||
- 所以后续主 Codex 看 `category_requests = 0` 时，必须同时保留一个判断分支：
|
||
- 可能是真没抓
|
||
- 也可能是上游 page_type 归类口径不完整
|
||
|
||
不过要注意：
|
||
|
||
- 在我额外抽查的最近数个 `2026-04-17` run 里
|
||
- 暂时还没有找到 `baiduspider / bytespider / sogou` 的分类 URL 被误标成 `other` 的直接样本
|
||
|
||
所以当前更稳的表达是：
|
||
|
||
> 老模板分类抓取当前仍然偏弱，而且 `category` 指标本身仍存在口径风险，不能单独作为百度触达面的唯一判断依据。
|
||
|
||
### 3. `bytespider` 当前不是“没来”，而是“来了但 robots 层体验差”
|
||
|
||
最新异常里，最高优先级几乎都集中在：
|
||
|
||
- `qf123.net`
|
||
- `www.proenerji.com`
|
||
- `www.ctshuhua.com`
|
||
- `www.qf123.net`
|
||
- `www.qingyejianshe.com`
|
||
- `www.syzhzs.com`
|
||
- `www.yagyjt.com`
|
||
- `www.tvwallmountreview.com`
|
||
|
||
共同特征：
|
||
|
||
- URL：`/robots.txt`
|
||
- bot：`bytespider`
|
||
- 状态：`403 / 444`
|
||
|
||
这说明：
|
||
|
||
- 头条蜘蛛不是没探测
|
||
- 它已经反复试图读取入口文件
|
||
- 但当前入口层对它不友好
|
||
|
||
同时，现有老模板 `robots.txt` 模板里只明确放行了：
|
||
|
||
- `Baiduspider`
|
||
- `360Spider`
|
||
- `Sogou web spider`
|
||
- `Sogou inst spider`
|
||
- `YisouSpider`
|
||
- `Quarkbot`
|
||
- `Googlebot`
|
||
|
||
没有显式放行 `Bytespider`。
|
||
|
||
结论分两层：
|
||
|
||
1. 从“百度 7 天冲量”主目标看
|
||
- `bytespider` 不是第一优先级
|
||
- 不应该压过百度分类/深页主线
|
||
2. 从“国内蜘蛛入口完整度”看
|
||
- 后续可以单独给老模板 robots 增补 `Bytespider`
|
||
- 但前提是先确认线上 `403/444` 是否来自模板输出，还是前端防护层
|
||
|
||
---
|
||
|
||
## 五、当前不能误判的点
|
||
|
||
### 1. 不能把 `301` 一律当致命异常
|
||
|
||
以 `yagyjt.com` 为例，百度命中的是：
|
||
|
||
- `/voddetail/...`
|
||
- `/vodplay/...`
|
||
|
||
这更像是历史收录或历史外链还在发挥作用。
|
||
|
||
如果当前站点已经把它们稳定 `301` 到规范地址，那么它的问题是：
|
||
|
||
- 抓取成本高
|
||
- 信号绕路
|
||
|
||
而不是：
|
||
|
||
- 页面完全打不开
|
||
- 老模板彻底不可抓
|
||
|
||
### 2. 当前没有证据说明老模板普遍 5xx
|
||
|
||
最新 24h 聚合里：
|
||
|
||
- `500 = 0`
|
||
|
||
所以本轮不能把精力浪费在“怀疑后端整体炸了”上。
|
||
|
||
更应该盯的是：
|
||
|
||
- 分类抓取为什么还没起来
|
||
- sitemap 为什么没有形成可见命中
|
||
- 已深抓样板站能不能进一步减少旧路由依赖
|
||
|
||
### 3. `1270` 不能代替老模板 SEO 主线
|
||
|
||
`1270` 当前仍然主要是 GPT 模板交接总文档。
|
||
|
||
老模板这一支继续推进时，应优先参考：
|
||
|
||
- `1269`
|
||
- `1286`
|
||
- `1287`
|
||
- `1289`
|
||
- `1290`
|
||
- `1291`
|
||
- `1292`
|
||
- `1293`
|
||
- `1294`
|
||
- `1295`
|
||
- `1296`
|
||
- 本文 `1299`
|
||
|
||
---
|
||
|
||
## 六、对主 Codex 最有价值的执行建议
|
||
|
||
### 优先级 A：持续观察并放大 `yagyjt.com`
|
||
|
||
原因：
|
||
|
||
- 它已经是百度深抓样板
|
||
- 模板归属明确：`1002 / videoDingZhu`
|
||
- 最适合作为“老模板 7 天冲量”的核心跟踪站
|
||
|
||
建议动作：
|
||
|
||
1. 复核 `yagyjt.com` 当前详情页和播放页规范地址是否稳定
|
||
2. 观察旧 `/voddetail`、`/vodplay` 是否始终 301 到唯一规范 URL
|
||
3. 看未来 24-72 小时内，百度是否开始从 `detail/play 301` 转向规范深页 200
|
||
|
||
### 优先级 B：盯分类层起量，而不是继续沉迷首页
|
||
|
||
因为最新数据说明：
|
||
|
||
- 首页已经有命中
|
||
- 深页也不是完全没有
|
||
- 但分类层和 sitemap 层仍然显著偏弱
|
||
|
||
这意味着后续最该看的提升信号是：
|
||
|
||
1. 是否开始出现 `category_requests > 0`
|
||
2. 是否开始有分类页 200 被百度命中
|
||
3. 是否由分类页继续向详情页扩散
|
||
|
||
### 优先级 C：把 `robots` 的国内蜘蛛兼容性单独列为副线
|
||
|
||
这条线不能抢主线，但也不能完全忽略。
|
||
|
||
建议：
|
||
|
||
1. 先确认 `403/444` 是前端防护层行为，还是应用层输出问题
|
||
2. 如果模板输出可控，再评估是否给老模板 `robots.txt` 增补：
|
||
- `User-agent: Bytespider`
|
||
- `Allow: /`
|
||
3. 即便要改，也应单独开小任务，不要和百度主线混着验
|
||
|
||
---
|
||
|
||
## 七、一句话总结
|
||
|
||
当前老模板 SEO 主线的真实状态是：
|
||
|
||
> 百度已经开始给个别老模板站深抓机会，但站群整体仍然缺少分类层放量；短期最值得做的是围绕 `yagyjt.com` 这种已深抓样板站压旧路由成本、盯分类抓取起量，而不是把精力继续带偏到 GPT 模板或不存在的 5xx 故障上。
|
||
|
||
---
|
||
|
||
## 八、2026-04-17 晚间追加：工作台 page_type 口径补强已落地
|
||
|
||
在继续复核真实 payload 后，本轮又确认了一个会直接影响判断的问题：
|
||
|
||
- spider workbench 的统计高度依赖上游推送的 `page_type`
|
||
- 如果上游把老模板历史路由打成 `other`
|
||
- 工作台就会把真实分类 / 详情 / 播放流量低估掉
|
||
|
||
### 已确认的真实误标样本
|
||
|
||
1. 分类页误标
|
||
- `/videotype-zong-yi/all-1948-nuo-wei-all/yin-du-yu-page1`
|
||
- 原始 `page_type = other`
|
||
2. 播放页误标
|
||
- `/video-play/ni-tian-zhi-zun-26066-fengchao-137`
|
||
- 原始 `page_type = other`
|
||
3. 详情页漏算线索
|
||
- `www.ningxiaowei.com`
|
||
- `/video-info/...`
|
||
- 在最近 run 中由 `baiduspider` 命中 `200 / 301`
|
||
- 但原始 bucket 仍可能落在 `other`
|
||
|
||
### 已落地的修正
|
||
|
||
本轮已在抓取摘要 ingest 阶段增加“路径兜底识别”，仅在上游值为空或为 `other` 时生效：
|
||
|
||
- 文件：
|
||
- [DomainSpiderCrawlLogSchemaHelper.php](/www/wwwroot/VideoSource2/code/app/common/helper/DomainSpiderCrawlLogSchemaHelper.php:1)
|
||
- [DomainSpiderCrawlLogHelper.php](/www/wwwroot/VideoSource2/code/app/common/helper/DomainSpiderCrawlLogHelper.php:1)
|
||
- 兜底识别范围：
|
||
- `videotype / vodtype / fenlei` -> `category`
|
||
- `video-info / voddetail / neirong-` -> `detail`
|
||
- `video-play / vodplay / bf-` -> `play`
|
||
- `robots.txt` -> `robots`
|
||
- `sitemap*` -> `sitemap`
|
||
- `search / get-index` -> `search`
|
||
|
||
### 本地复核结果
|
||
|
||
用真实 run：
|
||
|
||
- `20260417/201003_crawl_log_push_f72827`
|
||
|
||
重新过 ingest 后，结果已经变为：
|
||
|
||
1. `/videotype-zong-yi/...` -> `category`
|
||
2. `/video-play/...` -> `play`
|
||
|
||
这说明：
|
||
|
||
- 当前 workbench 的老模板分类/播放统计，后续会比之前更接近真实情况
|
||
- `category=0` 这类结论之后必须结合新 ingest 结果再判断
|
||
- 这次修正只影响蜘蛛分析口径，不会直接改动老模板页面输出，也不会直接影响 `videoGpt1` 模板渲染
|
||
|
||
### 已追加重建 latest 摘要
|
||
|
||
为了避免 admin2 / workbench 继续读取旧的 `latest` 静态摘要，本轮还额外重建了：
|
||
|
||
- `code/storage/domain-spider-crawl/latest/spider-crawl.summary.json`
|
||
- `code/storage/domain-spider-crawl/latest/spider-crawl.summary.html`
|
||
|
||
重建时间：
|
||
|
||
- `2026-04-17T20:20:54+08:00`
|
||
|
||
重建后，按最近 `24` 个 run 合并统计得到的页面类型分布为：
|
||
|
||
- `robots = 281`
|
||
- `home = 77`
|
||
- `detail = 34`
|
||
- `play = 11`
|
||
- `category = 4`
|
||
- `sitemap = 2`
|
||
- `other = 17`
|
||
|
||
这和修正前相比，至少已经明确证明：
|
||
|
||
1. 分类页不再是绝对 `0`
|
||
2. 旧 `video-info / video-play / videotype` family 的流量不再全部沉到底部 `other`
|
||
3. 后续再看老模板“百度有没有进分类 / 详情 / 播放”，工作台数据可信度会更高
|
||
|
||
---
|
||
|
||
## 九、2026-04-17 20:30 再复核补充
|
||
|
||
在继续用 `DomainSpiderCrawlWorkbenchHelper::buildSummary(...)` 复核后，当前还要再补 3 条交接级结论。
|
||
|
||
### 1. 当前正式应以 24h 聚合视角为主，不应以 `latest` 覆盖文件为主
|
||
|
||
`latest/spider-crawl.summary.json` 在 `20:30` 时已经被新的前端 push 覆盖成一份很小的最近样本。
|
||
|
||
但同一时刻按 workbench 24h 聚合得到的真实视角仍然是：
|
||
|
||
- 总请求：`72`
|
||
- 详情：`21`
|
||
- 播放：`4`
|
||
- 分类：`1`
|
||
- sitemap：`2`
|
||
- robots：`11`
|
||
|
||
因此后续主 Codex 如果看到：
|
||
|
||
- `latest` 很小
|
||
- 甚至只剩少量 `robots/home`
|
||
|
||
不要直接判断成：
|
||
|
||
- 老模板蜘蛛量掉空
|
||
- 深页信号消失
|
||
|
||
更稳的做法是始终回到 24h 聚合视角看趋势。
|
||
|
||
### 2. `yagyjt.com` 目前仍是第一样板站，但问题已明确集中到入口层
|
||
|
||
截至 `20:30` 的 host detail：
|
||
|
||
- 总请求：`28`
|
||
- 深页请求：`16`
|
||
- 异常：`18`
|
||
- 状态：
|
||
- `200 = 10`
|
||
- `301 = 10`
|
||
- `444 = 7`
|
||
- `403 = 1`
|
||
|
||
当前最高优先级异常已经非常集中：
|
||
|
||
- `/robots.txt`
|
||
- `/sitemap_index.xml`
|
||
- `/videotype/1-dian-ying`
|
||
- `/`
|
||
|
||
也就是说，这个站已经不是“有没有深抓”的问题，而是：
|
||
|
||
- 已经深抓
|
||
- 但入口质量还不够稳
|
||
|
||
所以后续如果要拿一个站做百度 7 天冲量观察，优先还是盯它。
|
||
|
||
### 3. `www.ningxiaowei.com` 更适合当“深链承接效率”样本
|
||
|
||
截至 `20:30` 的 host detail：
|
||
|
||
- 总请求：`8`
|
||
- 深页请求：`8`
|
||
- 全部都是 `detail`
|
||
- 状态：
|
||
- `200 = 4`
|
||
- `301 = 4`
|
||
|
||
它的特点不是入口层扩张，而是：
|
||
|
||
- 百度已经明确在消费 `/video-info/...` 这类当前有效 family
|
||
- 但还没有看到首页 / 分类 / sitemap 同步扩张
|
||
|
||
因此它更适合当：
|
||
|
||
- 详情页 URL family 正确性观察样本
|
||
- 深链 `301 -> 200` 承接效率样本
|
||
|
||
不适合拿来代替 `yagyjt.com` 做入口层样板。
|