Files
SEONexus/docs/2026-04-18-A组6站-蜘蛛回访分析.md
2026-04-18 01:31:44 +08:00

395 lines
11 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 2026-04-18 A组6站 蜘蛛回访分析
## 1. 基本信息
- 日期:`2026-04-18`
- 分析人:`Codex / 团队`
- 分析范围:`A组 6 站`
- 日志时间窗口:`2026-04-17 09:10:03 ~ 2026-04-17 22:20:02`
- 关联动作:
- 已提交 sitemap`A组6站已纳入首批推收录名单主入口以 /sitemap.xml / sitemap_index.xml / sitemap-main.xml 为准`
- 已清缓存域名:`待继续跟进 jingxifa.com / cnzhenbang.com`
- 已上线模板修复:`详情 slug-only 兜底、HEAD 兼容、sitemap 修复、搜索页 h1 补强、播放页 h1 补强`
## 2. 本轮关注域名
1. `liangzuan.net`
2. `cnzhenbang.com`
3. `codohealth.com`
4. `jingxifa.com`
5. `gz-yxsw.com`
6. `glae.cc`
## 3. 本轮关注目标
1. `sitemap_index.xml` 是否开始被抓
2. `sitemap-main.xml` 是否开始被抓
3. 搜索页是否出现蜘蛛回访
4. 详情页是否开始出现命中
5. 播放页是否开始出现命中
6. 是否出现连续抓取链路:
- `sitemap -> search -> detail`
- `sitemap -> detail -> play`
7. 是否仍存在旧 404 深链被反复访问
## 4. 蜘蛛来源概览
### 百度蜘蛛
- 请求数:`72`
- 命中域名:
- `codohealth.com`
- `jingxifa.com`
- `gz-yxsw.com`
- `glae.cc`
- 主要命中页面类型:
- `home`
- `detail`
- `play`
- `other`
### 必应蜘蛛
- 请求数:`2`
- 命中域名:
- `cnzhenbang.com`
- 主要命中页面类型:
- `category`
### 其他中文搜索蜘蛛
- 请求数:`88`
- 命中域名:
- `cnzhenbang.com`
- `jingxifa.com`
- `gz-yxsw.com`
- `glae.cc`
- 主要命中页面类型:
- `home`
- `category`
- `detail`
- `play`
### 普通浏览器访问
- 请求数:`本次统计只看蜘蛛 crawl push 数据,不混入普通浏览器访问`
- 是否需要与蜘蛛流量区分:`是`
## 5. 各域名命中概览
### `liangzuan.net`
- sitemap
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- search
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- detail
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- play
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- old 404
- 是否出现:`当前窗口未见`
- 典型路径:`无`
### `cnzhenbang.com`
- sitemap
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- search
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- detail
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- play
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- old 404
- 是否出现:`出现测试入口 404`
- 典型路径:
- `/get-index?wd=test`
- `/get/index?wd=test`
补充观察:
- summary 总请求:`110`
- 当前主要命中层级:
- `robots: 62`
- `category: 21`
- `home: 1`
- 当前已见 `200`
- `/`
- `/category/dong-man`
- 当前主要风险:
- `googlebot` 仍大量命中 `/robots.txt => 444`
- `sogou` 对分类页仍混有 `301 / 403`
### `codohealth.com`
- sitemap
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- search
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- detail
- 是否命中:`是`
- 命中次数:`12`
- 典型路径:
- `/voddetail/gu-chuan-jin-zhen-qian-jin-jing-shi-feng-jian-lao-zu-zong-73272`
- `/voddetail/ma-dai-gui-guai-chuan-shuo-qi-yuan-78411`
- `/voddetail/xing-qiu-da-zhan-hei-shi-chuan-shuo-78631`
- play
- 是否命中:`是,但当前被归到 other`
- 命中次数:`6`
- 典型路径:
- `/vodbf/liang-liang-pei-dui-185109-default-1`
- `/vodbf/yu-wang-dan-zhu-ji-104073-default-1`
- old 404
- 是否出现:`当前窗口未见明显旧 404`
- 典型路径:`无`
补充观察:
- summary 总请求:`766`
- 当前最大流量仍在 `robots: 740`
- 当前已拿到百度蜘蛛真实深页 `200`
- 已见 `detail -> 200``play-like path -> 200`
### `jingxifa.com`
- sitemap
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- search
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- detail
- 是否命中:`是`
- 命中次数:`15`
- 典型路径:
- `/video-detail/cheng-shi-jian-ke-190614`
- `/video-detail/hai-mian-bao-bao-di-shi-yi-ji-73126-10`
- `/video-detail/xing-jian-fu-guo-ji-di-wu-ji-107484`
- play
- 是否命中:`是`
- 命中次数:`16`
- 典型路径:
- `/video-bofang/hao-bu-liu-qing-185887-default-1`
- `/video-bofang/hei-yi-nv-ren-de-xiang-shui-183894-default-1`
- `/video-bofang/lie-gui-shao-nv-ba-fei-183877-default-1`
- old 404
- 是否出现:`当前窗口未见旧 404 为主的坏链池`
- 典型路径:`无`
- cache status
- 普通访问是否仍落后于 `?__nocache=1``是,之前已确认存在缓存滞后`
- 当前判断:`代码已生效,仍应把前端缓存刷新列为优先动作`
补充观察:
- summary 总请求:`1623`
- 当前主要层级:
- `category: 1066`
- `robots: 485`
- `play: 16`
- `detail: 15`
- `home: 14`
- 当前已拿到:
- 首页 `200`
- 详情页 `200`
- 播放页 `200`
- 当前仍有:
- `sogou` 对部分详情 / 播放 / 首页命中 `403`
- `googlebot` 对大量 `videoclass*` 路径命中 `444`
### `gz-yxsw.com`
- sitemap
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- search
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- detail
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- play
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- old 404
- 是否出现:`当前窗口未见`
- 典型路径:`无`
补充观察:
- summary 总请求:`38`
- 当前已见:
- 百度蜘蛛首页 `/ => 200`
- `robots.txt => 200` 仅少量
- 当前阶段仍属于首页层回访,尚未进入深页抓取
### `glae.cc`
- sitemap
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- search
- 是否命中:`仅见测试探针`
- 命中次数:`2`
- 典型路径:
- `/get-index?wd=test`
- `/get/index?wd=test`
- detail
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- play
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- old 404
- 是否出现:`出现测试入口 404`
- 典型路径:
- `/get-index?wd=test`
- `/get/index?wd=test`
- 需继续观察项:
- 详情页 `h1` 是否仍显示年份:`待继续复查,目前日志层还未进入详情页`
补充观察:
- summary 总请求:`15`
- 当前主命中是首页:
- `/ => 8 次 200`
- 同时出现:
- `/ => 4 次 301`
- `/robots.txt => 1 次 444`
## 6. 正向信号判断
- 是否出现 `sitemap -> search -> detail``当前窗口未直接看到 sitemap 命中,无法确认`
- 是否出现 `sitemap -> detail -> play``在 jingxifa.com / codohealth.com 已出现 detail 与 play 深页 200但当前证据链未直接回溯到 sitemap`
- 是否出现 `home -> search -> detail``未形成稳定链路`
- 是否出现详情页重复访问:`是codohealth.com 与 jingxifa.com 已出现详情页重复命中`
- 是否出现播放页稳定命中:`是jingxifa.com 明显成立codohealth.com 的 vodbf 路径也已出现稳定 200`
## 7. 风险信号判断
### 风险 1
- 域名:`liangzuan.net`
- 表现:`当前整日窗口内几乎没有进入 A 组 crawl summary`
- 可能原因:
- 当日蜘蛛尚未有效回访
- 当前样本窗口未覆盖到该站
- 建议动作:
- 继续看下一日数据
- 站长平台侧优先补提 sitemap
- 手工复查首页、详情、播放入口是否持续稳定 200
### 风险 2
- 域名:`cnzhenbang.com`
- 表现:`当前主要停留在 robots 与 category 层,且混有 301 / 403 / 404`
- 可能原因:
- 分类层旧路径或探测路径仍在反复试探
- 搜索 / 详情 / 播放还未被新一轮蜘蛛充分发现
- 建议动作:
- 继续观察分类页是否开始稳定转向 `200`
- 继续提 sitemap 主入口
- 复查前端缓存,避免蜘蛛仍吃到旧 HTML
### 风险 3
- 域名:`jingxifa.com`
- 表现:`虽然已经出现首页 / 详情 / 播放真实 200但普通访问与 ?__nocache=1 仍存在缓存滞后风险`
- 可能原因:
- 前端缓存未完全刷新
- 蜘蛛与人工访问可能仍看到不同版本 HTML
- 建议动作:
- 优先刷新前端缓存
- 清缓存后复查详情页 h1、播放页 h1、canonical
- 明日继续看是否出现更稳定的 detail / play 回访
### 风险 4
- 域名:`glae.cc`
- 表现:`当前只见首页层命中,且测试探针 /get-index?wd=test 与 /get/index?wd=test 返回 404`
- 可能原因:
- 当前只是探针验证,不代表真实搜索页蜘蛛入口
- 深页抓取尚未开始
- 建议动作:
- 不把 test 404 误判成线上主链路异常
- 明日继续观察是否开始进入真实 search / detail
- 同时复核详情页标题年份表现
## 8. 缓存相关观察
重点域名:
1. `jingxifa.com`
2. `cnzhenbang.com`
可补充:
- 普通访问结果:
- `jingxifa.com` 曾出现旧缓存 HTML 滞后
- `cnzhenbang.com` 也属于优先复查对象
- `?__nocache=1` 结果:
- 已确认代码修复版本能返回新 HTML
- 是否一致:
- `jingxifa.com``否`
- `cnzhenbang.com``待继续复核`
- 当前判断:
- 这两站当前不宜继续先改模板
- 应优先走前端缓存刷新 + 刷新后复测
## 9. 本轮结论
1. `A组6站` 里已经出现明显分层:
- `codohealth.com``jingxifa.com` 已进入深页命中阶段
- `cnzhenbang.com``gz-yxsw.com``glae.cc` 仍偏首页 / 分类层
- `liangzuan.net` 在当前窗口内几乎没有有效命中
2. 当前最强正向样本是:
- `codohealth.com` 的详情 / 播放样式路径 `200`
- `jingxifa.com` 的首页 / 详情 / 播放 `200`
3. 当前还不能说 `sitemap -> search -> detail -> play` 已完整跑通,但已经能确认:
- 深页回访开始出现
- 部分站已进入详情与播放层
4. 现阶段最大阻塞不是继续大改模板,而是:
- 缓存滞后站刷新
- 继续累积下一日回访样本
- 让首页层站点尽快过渡到深页层
## 10. 下一步动作
1. 是否继续提交 B 组 sitemap`是,继续按既定清单推进`
2. 是否继续清理缓存滞后站:`是,优先 jingxifa.com / cnzhenbang.com`
3. 明日优先观察域名:
- `jingxifa.com`
- `codohealth.com`
- `cnzhenbang.com`
- `liangzuan.net`
4. 是否需要继续模板修正:`当前不作为第一优先级,先看缓存与新一轮蜘蛛回访`