395 lines
11 KiB
Markdown
395 lines
11 KiB
Markdown
# 2026-04-18 A组6站 蜘蛛回访分析
|
||
|
||
## 1. 基本信息
|
||
|
||
- 日期:`2026-04-18`
|
||
- 分析人:`Codex / 团队`
|
||
- 分析范围:`A组 6 站`
|
||
- 日志时间窗口:`2026-04-17 09:10:03 ~ 2026-04-17 22:20:02`
|
||
- 关联动作:
|
||
- 已提交 sitemap:`A组6站已纳入首批推收录名单,主入口以 /sitemap.xml / sitemap_index.xml / sitemap-main.xml 为准`
|
||
- 已清缓存域名:`待继续跟进 jingxifa.com / cnzhenbang.com`
|
||
- 已上线模板修复:`详情 slug-only 兜底、HEAD 兼容、sitemap 修复、搜索页 h1 补强、播放页 h1 补强`
|
||
|
||
## 2. 本轮关注域名
|
||
|
||
1. `liangzuan.net`
|
||
2. `cnzhenbang.com`
|
||
3. `codohealth.com`
|
||
4. `jingxifa.com`
|
||
5. `gz-yxsw.com`
|
||
6. `glae.cc`
|
||
|
||
## 3. 本轮关注目标
|
||
|
||
1. `sitemap_index.xml` 是否开始被抓
|
||
2. `sitemap-main.xml` 是否开始被抓
|
||
3. 搜索页是否出现蜘蛛回访
|
||
4. 详情页是否开始出现命中
|
||
5. 播放页是否开始出现命中
|
||
6. 是否出现连续抓取链路:
|
||
- `sitemap -> search -> detail`
|
||
- `sitemap -> detail -> play`
|
||
7. 是否仍存在旧 404 深链被反复访问
|
||
|
||
## 4. 蜘蛛来源概览
|
||
|
||
### 百度蜘蛛
|
||
|
||
- 请求数:`72`
|
||
- 命中域名:
|
||
- `codohealth.com`
|
||
- `jingxifa.com`
|
||
- `gz-yxsw.com`
|
||
- `glae.cc`
|
||
- 主要命中页面类型:
|
||
- `home`
|
||
- `detail`
|
||
- `play`
|
||
- `other`
|
||
|
||
### 必应蜘蛛
|
||
|
||
- 请求数:`2`
|
||
- 命中域名:
|
||
- `cnzhenbang.com`
|
||
- 主要命中页面类型:
|
||
- `category`
|
||
|
||
### 其他中文搜索蜘蛛
|
||
|
||
- 请求数:`88`
|
||
- 命中域名:
|
||
- `cnzhenbang.com`
|
||
- `jingxifa.com`
|
||
- `gz-yxsw.com`
|
||
- `glae.cc`
|
||
- 主要命中页面类型:
|
||
- `home`
|
||
- `category`
|
||
- `detail`
|
||
- `play`
|
||
|
||
### 普通浏览器访问
|
||
|
||
- 请求数:`本次统计只看蜘蛛 crawl push 数据,不混入普通浏览器访问`
|
||
- 是否需要与蜘蛛流量区分:`是`
|
||
|
||
## 5. 各域名命中概览
|
||
|
||
### `liangzuan.net`
|
||
|
||
- sitemap:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- search:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- detail:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- play:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- old 404:
|
||
- 是否出现:`当前窗口未见`
|
||
- 典型路径:`无`
|
||
|
||
### `cnzhenbang.com`
|
||
|
||
- sitemap:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- search:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- detail:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- play:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- old 404:
|
||
- 是否出现:`出现测试入口 404`
|
||
- 典型路径:
|
||
- `/get-index?wd=test`
|
||
- `/get/index?wd=test`
|
||
|
||
补充观察:
|
||
|
||
- summary 总请求:`110`
|
||
- 当前主要命中层级:
|
||
- `robots: 62`
|
||
- `category: 21`
|
||
- `home: 1`
|
||
- 当前已见 `200`:
|
||
- `/`
|
||
- `/category/dong-man`
|
||
- 当前主要风险:
|
||
- `googlebot` 仍大量命中 `/robots.txt => 444`
|
||
- `sogou` 对分类页仍混有 `301 / 403`
|
||
|
||
### `codohealth.com`
|
||
|
||
- sitemap:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- search:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- detail:
|
||
- 是否命中:`是`
|
||
- 命中次数:`12`
|
||
- 典型路径:
|
||
- `/voddetail/gu-chuan-jin-zhen-qian-jin-jing-shi-feng-jian-lao-zu-zong-73272`
|
||
- `/voddetail/ma-dai-gui-guai-chuan-shuo-qi-yuan-78411`
|
||
- `/voddetail/xing-qiu-da-zhan-hei-shi-chuan-shuo-78631`
|
||
- play:
|
||
- 是否命中:`是,但当前被归到 other`
|
||
- 命中次数:`6`
|
||
- 典型路径:
|
||
- `/vodbf/liang-liang-pei-dui-185109-default-1`
|
||
- `/vodbf/yu-wang-dan-zhu-ji-104073-default-1`
|
||
- old 404:
|
||
- 是否出现:`当前窗口未见明显旧 404`
|
||
- 典型路径:`无`
|
||
|
||
补充观察:
|
||
|
||
- summary 总请求:`766`
|
||
- 当前最大流量仍在 `robots: 740`
|
||
- 当前已拿到百度蜘蛛真实深页 `200`
|
||
- 已见 `detail -> 200` 与 `play-like path -> 200`
|
||
|
||
### `jingxifa.com`
|
||
|
||
- sitemap:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- search:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- detail:
|
||
- 是否命中:`是`
|
||
- 命中次数:`15`
|
||
- 典型路径:
|
||
- `/video-detail/cheng-shi-jian-ke-190614`
|
||
- `/video-detail/hai-mian-bao-bao-di-shi-yi-ji-73126-10`
|
||
- `/video-detail/xing-jian-fu-guo-ji-di-wu-ji-107484`
|
||
- play:
|
||
- 是否命中:`是`
|
||
- 命中次数:`16`
|
||
- 典型路径:
|
||
- `/video-bofang/hao-bu-liu-qing-185887-default-1`
|
||
- `/video-bofang/hei-yi-nv-ren-de-xiang-shui-183894-default-1`
|
||
- `/video-bofang/lie-gui-shao-nv-ba-fei-183877-default-1`
|
||
- old 404:
|
||
- 是否出现:`当前窗口未见旧 404 为主的坏链池`
|
||
- 典型路径:`无`
|
||
- cache status:
|
||
- 普通访问是否仍落后于 `?__nocache=1`:`是,之前已确认存在缓存滞后`
|
||
- 当前判断:`代码已生效,仍应把前端缓存刷新列为优先动作`
|
||
|
||
补充观察:
|
||
|
||
- summary 总请求:`1623`
|
||
- 当前主要层级:
|
||
- `category: 1066`
|
||
- `robots: 485`
|
||
- `play: 16`
|
||
- `detail: 15`
|
||
- `home: 14`
|
||
- 当前已拿到:
|
||
- 首页 `200`
|
||
- 详情页 `200`
|
||
- 播放页 `200`
|
||
- 当前仍有:
|
||
- `sogou` 对部分详情 / 播放 / 首页命中 `403`
|
||
- `googlebot` 对大量 `videoclass*` 路径命中 `444`
|
||
|
||
### `gz-yxsw.com`
|
||
|
||
- sitemap:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- search:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- detail:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- play:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- old 404:
|
||
- 是否出现:`当前窗口未见`
|
||
- 典型路径:`无`
|
||
|
||
补充观察:
|
||
|
||
- summary 总请求:`38`
|
||
- 当前已见:
|
||
- 百度蜘蛛首页 `/ => 200`
|
||
- `robots.txt => 200` 仅少量
|
||
- 当前阶段仍属于首页层回访,尚未进入深页抓取
|
||
|
||
### `glae.cc`
|
||
|
||
- sitemap:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- search:
|
||
- 是否命中:`仅见测试探针`
|
||
- 命中次数:`2`
|
||
- 典型路径:
|
||
- `/get-index?wd=test`
|
||
- `/get/index?wd=test`
|
||
- detail:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- play:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- old 404:
|
||
- 是否出现:`出现测试入口 404`
|
||
- 典型路径:
|
||
- `/get-index?wd=test`
|
||
- `/get/index?wd=test`
|
||
- 需继续观察项:
|
||
- 详情页 `h1` 是否仍显示年份:`待继续复查,目前日志层还未进入详情页`
|
||
|
||
补充观察:
|
||
|
||
- summary 总请求:`15`
|
||
- 当前主命中是首页:
|
||
- `/ => 8 次 200`
|
||
- 同时出现:
|
||
- `/ => 4 次 301`
|
||
- `/robots.txt => 1 次 444`
|
||
|
||
## 6. 正向信号判断
|
||
|
||
- 是否出现 `sitemap -> search -> detail`:`当前窗口未直接看到 sitemap 命中,无法确认`
|
||
- 是否出现 `sitemap -> detail -> play`:`在 jingxifa.com / codohealth.com 已出现 detail 与 play 深页 200,但当前证据链未直接回溯到 sitemap`
|
||
- 是否出现 `home -> search -> detail`:`未形成稳定链路`
|
||
- 是否出现详情页重复访问:`是,codohealth.com 与 jingxifa.com 已出现详情页重复命中`
|
||
- 是否出现播放页稳定命中:`是,jingxifa.com 明显成立;codohealth.com 的 vodbf 路径也已出现稳定 200`
|
||
|
||
## 7. 风险信号判断
|
||
|
||
### 风险 1
|
||
|
||
- 域名:`liangzuan.net`
|
||
- 表现:`当前整日窗口内几乎没有进入 A 组 crawl summary`
|
||
- 可能原因:
|
||
- 当日蜘蛛尚未有效回访
|
||
- 当前样本窗口未覆盖到该站
|
||
- 建议动作:
|
||
- 继续看下一日数据
|
||
- 站长平台侧优先补提 sitemap
|
||
- 手工复查首页、详情、播放入口是否持续稳定 200
|
||
|
||
### 风险 2
|
||
|
||
- 域名:`cnzhenbang.com`
|
||
- 表现:`当前主要停留在 robots 与 category 层,且混有 301 / 403 / 404`
|
||
- 可能原因:
|
||
- 分类层旧路径或探测路径仍在反复试探
|
||
- 搜索 / 详情 / 播放还未被新一轮蜘蛛充分发现
|
||
- 建议动作:
|
||
- 继续观察分类页是否开始稳定转向 `200`
|
||
- 继续提 sitemap 主入口
|
||
- 复查前端缓存,避免蜘蛛仍吃到旧 HTML
|
||
|
||
### 风险 3
|
||
|
||
- 域名:`jingxifa.com`
|
||
- 表现:`虽然已经出现首页 / 详情 / 播放真实 200,但普通访问与 ?__nocache=1 仍存在缓存滞后风险`
|
||
- 可能原因:
|
||
- 前端缓存未完全刷新
|
||
- 蜘蛛与人工访问可能仍看到不同版本 HTML
|
||
- 建议动作:
|
||
- 优先刷新前端缓存
|
||
- 清缓存后复查详情页 h1、播放页 h1、canonical
|
||
- 明日继续看是否出现更稳定的 detail / play 回访
|
||
|
||
### 风险 4
|
||
|
||
- 域名:`glae.cc`
|
||
- 表现:`当前只见首页层命中,且测试探针 /get-index?wd=test 与 /get/index?wd=test 返回 404`
|
||
- 可能原因:
|
||
- 当前只是探针验证,不代表真实搜索页蜘蛛入口
|
||
- 深页抓取尚未开始
|
||
- 建议动作:
|
||
- 不把 test 404 误判成线上主链路异常
|
||
- 明日继续观察是否开始进入真实 search / detail
|
||
- 同时复核详情页标题年份表现
|
||
|
||
## 8. 缓存相关观察
|
||
|
||
重点域名:
|
||
|
||
1. `jingxifa.com`
|
||
2. `cnzhenbang.com`
|
||
|
||
可补充:
|
||
|
||
- 普通访问结果:
|
||
- `jingxifa.com` 曾出现旧缓存 HTML 滞后
|
||
- `cnzhenbang.com` 也属于优先复查对象
|
||
- `?__nocache=1` 结果:
|
||
- 已确认代码修复版本能返回新 HTML
|
||
- 是否一致:
|
||
- `jingxifa.com`:`否`
|
||
- `cnzhenbang.com`:`待继续复核`
|
||
- 当前判断:
|
||
- 这两站当前不宜继续先改模板
|
||
- 应优先走前端缓存刷新 + 刷新后复测
|
||
|
||
## 9. 本轮结论
|
||
|
||
1. `A组6站` 里已经出现明显分层:
|
||
- `codohealth.com`、`jingxifa.com` 已进入深页命中阶段
|
||
- `cnzhenbang.com`、`gz-yxsw.com`、`glae.cc` 仍偏首页 / 分类层
|
||
- `liangzuan.net` 在当前窗口内几乎没有有效命中
|
||
2. 当前最强正向样本是:
|
||
- `codohealth.com` 的详情 / 播放样式路径 `200`
|
||
- `jingxifa.com` 的首页 / 详情 / 播放 `200`
|
||
3. 当前还不能说 `sitemap -> search -> detail -> play` 已完整跑通,但已经能确认:
|
||
- 深页回访开始出现
|
||
- 部分站已进入详情与播放层
|
||
4. 现阶段最大阻塞不是继续大改模板,而是:
|
||
- 缓存滞后站刷新
|
||
- 继续累积下一日回访样本
|
||
- 让首页层站点尽快过渡到深页层
|
||
|
||
## 10. 下一步动作
|
||
|
||
1. 是否继续提交 B 组 sitemap:`是,继续按既定清单推进`
|
||
2. 是否继续清理缓存滞后站:`是,优先 jingxifa.com / cnzhenbang.com`
|
||
3. 明日优先观察域名:
|
||
- `jingxifa.com`
|
||
- `codohealth.com`
|
||
- `cnzhenbang.com`
|
||
- `liangzuan.net`
|
||
4. 是否需要继续模板修正:`当前不作为第一优先级,先看缓存与新一轮蜘蛛回访`
|