11 KiB
11 KiB
2026-04-18 A组6站 蜘蛛回访分析
1. 基本信息
- 日期：
2026-04-18 - 分析人：
Codex / 团队 - 分析范围：
A组 6 站 - 日志时间窗口：
2026-04-17 09:10:03 ~ 2026-04-17 22:20:02 - 关联动作：
- 已提交 sitemap：
A组6站已纳入首批推收录名单，主入口以 /sitemap.xml / sitemap_index.xml / sitemap-main.xml 为准 - 已清缓存域名：
待继续跟进 jingxifa.com / cnzhenbang.com - 已上线模板修复：
详情 slug-only 兜底、HEAD 兼容、sitemap 修复、搜索页 h1 补强、播放页 h1 补强
- 已提交 sitemap：
2. 本轮关注域名
liangzuan.netcnzhenbang.comcodohealth.comjingxifa.comgz-yxsw.comglae.cc
3. 本轮关注目标
sitemap_index.xml是否开始被抓sitemap-main.xml是否开始被抓- 搜索页是否出现蜘蛛回访
- 详情页是否开始出现命中
- 播放页是否开始出现命中
- 是否出现连续抓取链路：
sitemap -> search -> detailsitemap -> detail -> play
- 是否仍存在旧 404 深链被反复访问
4. 蜘蛛来源概览
百度蜘蛛
- 请求数：
72 - 命中域名：
codohealth.comjingxifa.comgz-yxsw.comglae.cc
- 主要命中页面类型：
homedetailplayother
必应蜘蛛
- 请求数：
2 - 命中域名：
cnzhenbang.com
- 主要命中页面类型：
category
其他中文搜索蜘蛛
- 请求数：
88 - 命中域名：
cnzhenbang.comjingxifa.comgz-yxsw.comglae.cc
- 主要命中页面类型：
homecategorydetailplay
普通浏览器访问
- 请求数：
本次统计只看蜘蛛 crawl push 数据，不混入普通浏览器访问 - 是否需要与蜘蛛流量区分：
是
5. 各域名命中概览
liangzuan.net
- sitemap：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- search：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- detail：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- play：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- old 404：
- 是否出现：
当前窗口未见 - 典型路径：
无
- 是否出现：
cnzhenbang.com
- sitemap：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- search：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- detail：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- play：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- old 404：
- 是否出现：
出现测试入口 404 - 典型路径：
/get-index?wd=test/get/index?wd=test
- 是否出现：
补充观察：
- summary 总请求：
110 - 当前主要命中层级：
robots: 62category: 21home: 1
- 当前已见
200：//category/dong-man
- 当前主要风险：
googlebot仍大量命中/robots.txt => 444sogou对分类页仍混有301 / 403
codohealth.com
- sitemap：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- search：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- detail：
- 是否命中：
是 - 命中次数：
12 - 典型路径：
/voddetail/gu-chuan-jin-zhen-qian-jin-jing-shi-feng-jian-lao-zu-zong-73272/voddetail/ma-dai-gui-guai-chuan-shuo-qi-yuan-78411/voddetail/xing-qiu-da-zhan-hei-shi-chuan-shuo-78631
- 是否命中：
- play：
- 是否命中：
是，但当前被归到 other - 命中次数：
6 - 典型路径：
/vodbf/liang-liang-pei-dui-185109-default-1/vodbf/yu-wang-dan-zhu-ji-104073-default-1
- 是否命中：
- old 404：
- 是否出现：
当前窗口未见明显旧 404 - 典型路径：
无
- 是否出现：
补充观察：
- summary 总请求：
766 - 当前最大流量仍在
robots: 740 - 当前已拿到百度蜘蛛真实深页
200 - 已见
detail -> 200与play-like path -> 200
jingxifa.com
- sitemap：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- search：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- detail：
- 是否命中：
是 - 命中次数：
15 - 典型路径：
/video-detail/cheng-shi-jian-ke-190614/video-detail/hai-mian-bao-bao-di-shi-yi-ji-73126-10/video-detail/xing-jian-fu-guo-ji-di-wu-ji-107484
- 是否命中：
- play：
- 是否命中：
是 - 命中次数：
16 - 典型路径：
/video-bofang/hao-bu-liu-qing-185887-default-1/video-bofang/hei-yi-nv-ren-de-xiang-shui-183894-default-1/video-bofang/lie-gui-shao-nv-ba-fei-183877-default-1
- 是否命中：
- old 404：
- 是否出现：
当前窗口未见旧 404 为主的坏链池 - 典型路径：
无
- 是否出现：
- cache status：
- 普通访问是否仍落后于
?__nocache=1：是，之前已确认存在缓存滞后 - 当前判断：
代码已生效，仍应把前端缓存刷新列为优先动作
- 普通访问是否仍落后于
补充观察：
- summary 总请求：
1623 - 当前主要层级：
category: 1066robots: 485play: 16detail: 15home: 14
- 当前已拿到：
- 首页
200 - 详情页
200 - 播放页
200
- 首页
- 当前仍有：
sogou对部分详情 / 播放 / 首页命中403googlebot对大量videoclass*路径命中444
gz-yxsw.com
- sitemap：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- search：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- detail：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- play：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- old 404：
- 是否出现：
当前窗口未见 - 典型路径：
无
- 是否出现：
补充观察：
- summary 总请求：
38 - 当前已见：
- 百度蜘蛛首页
/ => 200 robots.txt => 200仅少量
- 百度蜘蛛首页
- 当前阶段仍属于首页层回访，尚未进入深页抓取
glae.cc
- sitemap：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- search：
- 是否命中：
仅见测试探针 - 命中次数：
2 - 典型路径：
/get-index?wd=test/get/index?wd=test
- 是否命中：
- detail：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- play：
- 是否命中：
否 - 命中次数：
0 - 典型路径：
无
- 是否命中：
- old 404：
- 是否出现：
出现测试入口 404 - 典型路径：
/get-index?wd=test/get/index?wd=test
- 是否出现：
- 需继续观察项：
- 详情页
h1是否仍显示年份：待继续复查，目前日志层还未进入详情页
- 详情页
补充观察：
- summary 总请求：
15 - 当前主命中是首页：
/ => 8 次 200
- 同时出现：
/ => 4 次 301/robots.txt => 1 次 444
6. 正向信号判断
- 是否出现
sitemap -> search -> detail：当前窗口未直接看到 sitemap 命中，无法确认 - 是否出现
sitemap -> detail -> play：在 jingxifa.com / codohealth.com 已出现 detail 与 play 深页 200，但当前证据链未直接回溯到 sitemap - 是否出现
home -> search -> detail：未形成稳定链路 - 是否出现详情页重复访问：
是，codohealth.com 与 jingxifa.com 已出现详情页重复命中 - 是否出现播放页稳定命中：
是，jingxifa.com 明显成立；codohealth.com 的 vodbf 路径也已出现稳定 200
7. 风险信号判断
风险 1
- 域名：
liangzuan.net - 表现：
当前整日窗口内几乎没有进入 A 组 crawl summary - 可能原因：
- 当日蜘蛛尚未有效回访
- 当前样本窗口未覆盖到该站
- 建议动作：
- 继续看下一日数据
- 站长平台侧优先补提 sitemap
- 手工复查首页、详情、播放入口是否持续稳定 200
风险 2
- 域名：
cnzhenbang.com - 表现：
当前主要停留在 robots 与 category 层，且混有 301 / 403 / 404 - 可能原因：
- 分类层旧路径或探测路径仍在反复试探
- 搜索 / 详情 / 播放还未被新一轮蜘蛛充分发现
- 建议动作：
- 继续观察分类页是否开始稳定转向
200 - 继续提 sitemap 主入口
- 复查前端缓存，避免蜘蛛仍吃到旧 HTML
- 继续观察分类页是否开始稳定转向
风险 3
- 域名：
jingxifa.com - 表现：
虽然已经出现首页 / 详情 / 播放真实 200，但普通访问与 ?__nocache=1 仍存在缓存滞后风险 - 可能原因：
- 前端缓存未完全刷新
- 蜘蛛与人工访问可能仍看到不同版本 HTML
- 建议动作：
- 优先刷新前端缓存
- 清缓存后复查详情页 h1、播放页 h1、canonical
- 明日继续看是否出现更稳定的 detail / play 回访
风险 4
- 域名：
glae.cc - 表现：
当前只见首页层命中，且测试探针 /get-index?wd=test 与 /get/index?wd=test 返回 404 - 可能原因：
- 当前只是探针验证，不代表真实搜索页蜘蛛入口
- 深页抓取尚未开始
- 建议动作：
- 不把 test 404 误判成线上主链路异常
- 明日继续观察是否开始进入真实 search / detail
- 同时复核详情页标题年份表现
8. 缓存相关观察
重点域名：
jingxifa.comcnzhenbang.com
可补充：
- 普通访问结果：
jingxifa.com曾出现旧缓存 HTML 滞后cnzhenbang.com也属于优先复查对象
?__nocache=1结果：- 已确认代码修复版本能返回新 HTML
- 是否一致：
jingxifa.com：否cnzhenbang.com：待继续复核
- 当前判断：
- 这两站当前不宜继续先改模板
- 应优先走前端缓存刷新 + 刷新后复测
9. 本轮结论
A组6站里已经出现明显分层：codohealth.com、jingxifa.com已进入深页命中阶段cnzhenbang.com、gz-yxsw.com、glae.cc仍偏首页 / 分类层liangzuan.net在当前窗口内几乎没有有效命中
- 当前最强正向样本是：
codohealth.com的详情 / 播放样式路径200jingxifa.com的首页 / 详情 / 播放200
- 当前还不能说
sitemap -> search -> detail -> play已完整跑通，但已经能确认：- 深页回访开始出现
- 部分站已进入详情与播放层
- 现阶段最大阻塞不是继续大改模板，而是：
- 缓存滞后站刷新
- 继续累积下一日回访样本
- 让首页层站点尽快过渡到深页层
10. 下一步动作
- 是否继续提交 B 组 sitemap：
是，继续按既定清单推进 - 是否继续清理缓存滞后站：
是，优先 jingxifa.com / cnzhenbang.com - 明日优先观察域名：
jingxifa.comcodohealth.comcnzhenbang.comliangzuan.net
- 是否需要继续模板修正：
当前不作为第一优先级，先看缓存与新一轮蜘蛛回访