Files
SEONexus/docs/2026-04-18-B组9站-蜘蛛回访分析.md
2026-04-18 01:31:44 +08:00

488 lines
12 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 2026-04-18 B组9站 蜘蛛回访分析
## 1. 基本信息
- 日期:`2026-04-18`
- 分析人:`Codex / 团队`
- 分析范围:`B组 9 站`
- 日志时间窗口:`2026-04-17 09:10:03 ~ 2026-04-17 22:20:02`
- 关联动作:
- 已提交 sitemap`B组9站已纳入首批推收录名单主入口以 /sitemap.xml / sitemap_index.xml / sitemap-main.xml 为准`
- 已清缓存域名:`待继续跟进 lcdchq.com / oronorent.com`
- 已上线模板修复:`详情 slug-only 兜底、HEAD 兼容、sitemap 修复、搜索页 h1 补强、播放页 h1 补强`
## 2. 本轮关注域名
1. `gxhongzhuang.com`
2. `jpjdxs.com`
3. `jxxgygy.com`
4. `lcdchq.com`
5. `leici1940.com`
6. `lgyz.net`
7. `oronorent.com`
8. `pcslcl.com`
9. `sdxtwnc.com`
## 3. 本轮关注目标
1. `sitemap_index.xml` 是否开始被抓
2. `sitemap-main.xml` 是否开始被抓
3. 搜索页是否出现蜘蛛回访
4. 详情页是否开始出现命中
5. 播放页是否开始出现命中
6. 是否出现连续抓取链路:
- `sitemap -> search -> detail`
- `sitemap -> detail -> play`
7. 是否仍存在旧 404 深链被反复访问
## 4. 蜘蛛来源概览
### 百度蜘蛛
- 请求数:`95`
- 命中域名:
- `gxhongzhuang.com`
- `jpjdxs.com`
- `jxxgygy.com`
- `lcdchq.com`
- `leici1940.com`
- `lgyz.net`
- `pcslcl.com`
- `sdxtwnc.com`
- 主要命中页面类型:
- `home`
- `detail`
- `other`
### 必应蜘蛛
- 请求数:`36`
- 命中域名:
- `gxhongzhuang.com`
- `jxxgygy.com`
- `lcdchq.com`
- `lgyz.net`
- 主要命中页面类型:
- `robots`
- `other`
- `detail`
### 其他中文搜索蜘蛛
- 请求数:`115`
- 命中域名:
- `jpjdxs.com`
- `jxxgygy.com`
- `lcdchq.com`
- `lgyz.net`
- `oronorent.com`
- 主要命中页面类型:
- `home`
- `detail`
- `play`
- `other`
### 普通浏览器访问
- 请求数:`本次统计只看蜘蛛 crawl push 数据,不混入普通浏览器访问`
- 是否需要与蜘蛛流量区分:`是`
## 5. 各域名命中概览
### `gxhongzhuang.com`
- sitemap
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- search
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- detail
- 是否命中:`是`
- 命中次数:`4`
- 典型路径:
- `/voddetail/xi-xue-gui-ji-nv-184448`
- play
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- old 404
- 是否出现:`当前窗口未见明显旧 404`
- 典型路径:`无`
补充观察:
- summary 总请求:`46`
- 当前已见:
- 首页 `/ => 200`
- 详情页 `/voddetail/xi-xue-gui-ji-nv-184448 => 200`
- 当前风险:
- `googlebot``/robots.txt` 大量 `444`
- `bingbot` 对小说 / feed 类路径命中 `444`
### `jpjdxs.com`
- sitemap
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- search
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- detail
- 是否命中:`是,但当前被归到 other`
- 命中次数:`2`
- 典型路径:
- `/neirong-154229-xiang-feng-bu-shi-jiu-shi-ren`
- play
- 是否命中:`是,但当前被归到 other`
- 命中次数:`2`
- 典型路径:
- `/bf-154229-xiang-feng-bu-shi-jiu-shi-ren/default-1`
- old 404
- 是否出现:`当前窗口未见`
- 典型路径:`无`
- 关注项:
- `search_header_media.html` 修复后是否已开始被蜘蛛正常命中:`当前窗口还未出现真实搜索页回访,但详情 / 播放样式路径已能被正常抓到 200`
补充观察:
- summary 总请求:`20`
- 当前已见:
- 首页 `/ => 200`
- `/robots.txt => 200`
- 详情样式路径 `200`
- 播放样式路径 `200`
### `jxxgygy.com`
- sitemap
- 是否命中:`是,但为异常命中`
- 命中次数:`1`
- 典型路径:
- `/sitemap.xml => 444`
- search
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- detail
- 是否命中:`未形成明确 detail 分类,但已有内容页探测`
- 命中次数:`若干`
- 典型路径:
- `/vod/ben-zhuo-zhi-ji-de-qian-bei-169019`
- `/vod/wo-zai-mo-shi-dang-lao-ban-yuan-gong-quan-shi-ji-sang-shi-dong-tai-man-hua-169368`
- `/vod/wu-lian-shen-gong-168705`
- play
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- old 404
- 是否出现:`当前窗口未见典型旧 404 深链池`
- 典型路径:`无`
补充观察:
- summary 总请求:`35`
- 当前主要层级:
- `home: 19`
- `other: 13`
- 当前已见:
- 首页 `/ => 17 次 200`
- 当前风险:
- `sogou` 对若干内容路径仍混有 `301 / 403`
- `/sitemap.xml => 444` 需要后续单独复核
### `lcdchq.com`
- sitemap
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- search
- 是否命中:`仅见测试探针`
- 命中次数:`2`
- 典型路径:
- `/get-index?wd=test`
- `/get/index?wd=test`
- detail
- 是否命中:`是`
- 命中次数:`1`
- 典型路径:
- `/movie/154180-yi-gua-ding-qing-yuan-ye-ya-tou-jin-cheng-bei-tuan-chong`
- play
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- old 404
- 是否出现:`出现测试入口 404`
- 典型路径:
- `/get-index?wd=test`
- `/get/index?wd=test`
- cache status
- 普通访问是否仍落后于 `?__nocache=1``是,之前已确认属于缓存滞后站`
- 当前判断:`优先清缓存,不先继续改模板`
补充观察:
- summary 总请求:`59`
- 当前已见:
- 首页 `/ => 200`
- 详情页 `200`
- 当前风险:
- `/admin.php => 301` 高占比,属于噪音探测
- `/robots.txt` 混有 `444 / 301 / 403`
### `leici1940.com`
- sitemap
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- search
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- detail
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- play
- 是否命中:`是,但当前被归到 other`
- 命中次数:`8`
- 典型路径:
- `/vodbf/qin-mi-da-dang-wu-di-lv-shi-83631-default-1`
- `/vodbf/zhong-guo-xi-ju-xing-di-yi-ji-68746-default-1`
- old 404
- 是否出现:`当前窗口未见明显旧 404`
- 典型路径:`无`
补充观察:
- summary 总请求:`55`
- 当前深页正向样本主要来自百度蜘蛛命中播放样式路径
- 当前首页与 robots 仍以 `444` 为主
### `lgyz.net`
- sitemap
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- search
- 是否命中:`仅见测试探针`
- 命中次数:`2`
- 典型路径:
- `/get-index?wd=test`
- `/get/index?wd=test`
- detail
- 是否命中:`是`
- 命中次数:`11`
- 典型路径:
- `/voddetail/fan-pai-da-ming-xing-68838`
- `/voddetail/mo-shi-chao-neng-li-zhe-dong-tai-man-hua-69869`
- play
- 是否命中:`是`
- 命中次数:`9`
- 典型路径:
- `/vodplay/ming-zhen-tan-ke-nan-27577-youzhi-542`
- `/vodplay/shi-shang-wan-jia-25834-youzhi-475`
- `/vodplay/shi-shang-wan-jia-25834-youzhi-444`
- old 404
- 是否出现:`出现测试入口 404`
- 典型路径:
- `/get-index?wd=test`
- `/get/index?wd=test`
补充观察:
- summary 总请求:`39`
- 当前已见:
- 首页 `/ => 200`
- 详情页 `200`
- 播放页已有命中,但混有大量 `403`
- 当前风险:
- `sogou` 对播放页仍有大量 `403`
- `/robots.txt` 状态不够稳定
### `oronorent.com`
- sitemap
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- search
- 是否命中:`仅见测试探针`
- 命中次数:`2`
- 典型路径:
- `/get-index?wd=test`
- `/get/index?wd=test`
- detail
- 是否命中:`是,但当前被归到 other`
- 命中次数:`1`
- 典型路径:
- `/shipin/154173-yi-gua-ding-qian-kun`
- play
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- old 404
- 是否出现:`出现测试入口 404`
- 典型路径:
- `/get-index?wd=test`
- `/get/index?wd=test`
- cache status
- 普通访问是否仍落后于 `?__nocache=1``是,之前已列为缓存滞后站`
- 当前判断:`优先清缓存,再继续观察详情层回访`
补充观察:
- summary 总请求:`18`
- 当前已见:
- `/shipin/154173-yi-gua-ding-qian-kun => 200`
- 当前风险:
- 首页与 robots 仍混有 `301 / 403 / 444`
### `pcslcl.com`
- sitemap
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- search
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- detail
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- play
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- old 404
- 是否出现:`当前窗口未见典型旧 404`
- 典型路径:`无`
补充观察:
- summary 总请求:`218`
- 当前几乎全部是 `robots.txt => 444`
- 当前只拿到极少量首页 `200`
- 仍处于首页前的 robots 层
### `sdxtwnc.com`
- sitemap
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- search
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- detail
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- play
- 是否命中:`否`
- 命中次数:`0`
- 典型路径:`无`
- old 404
- 是否出现:`当前窗口未见`
- 典型路径:`无`
补充观察:
- summary 总请求:`32`
- 当前已见:
- 首页 `/ => 19 次 200`
- 当前阶段仍属于首页层回访
## 6. 正向信号判断
- 是否出现 `sitemap -> search -> detail``当前窗口未直接看到完整链路`
- 是否出现 `sitemap -> detail -> play``在 lgyz.net、jpjdxs.com、gxhongzhuang.com、lcdchq.com 已看到不同层级深页 200但未直接回溯到 sitemap`
- 是否出现 `home -> search -> detail``未形成稳定链路`
- 是否出现详情页重复访问:`是gxhongzhuang.com、lgyz.net、lcdchq.com 已出现 detail 层命中`
- 是否出现播放页稳定命中:`是lgyz.net、jpjdxs.com、leici1940.com 已出现播放样式路径命中`
## 7. 风险信号判断
### 风险 1
- 域名:`pcslcl.com`
- 表现:`当前几乎全部停留在 robots 层214 次 robots 444仅 1 次首页 200`
- 可能原因:
- 仍未进入有效页面发现阶段
- 谷歌探测集中在 robots
- 建议动作:
- 继续提交 sitemap 主入口
- 明日继续观察是否开始进入首页或详情层
### 风险 2
- 域名:`lcdchq.com`
- 表现:`已有首页与详情 200但普通访问与 ?__nocache=1 已知存在缓存滞后`
- 可能原因:
- 前端缓存未完全刷新
- 蜘蛛与人工访问可能命中不同 HTML
- 建议动作:
- 优先清缓存
- 清缓存后复查详情页 h1、canonical、播放页链路
### 风险 3
- 域名:`oronorent.com`
- 表现:`已见单个详情样式路径 200但首页 / robots 状态混杂,且属于已知缓存滞后站`
- 可能原因:
- 缓存滞后
- 蜘蛛仍在试探旧入口
- 建议动作:
- 优先清缓存
- 继续观察是否从单个详情样本扩展到更多深页
### 风险 4
- 域名:`jxxgygy.com`
- 表现:`/sitemap.xml 在当前窗口出现 444`
- 可能原因:
- 单次探针异常
- 该时段前端或规则响应不稳定
- 建议动作:
- 单独复测 sitemap 主入口
- 若复测正常,则先视为时间窗异常,不立刻大改
- 建议动作:
## 8. 缓存相关观察
重点域名:
1. `lcdchq.com`
2. `oronorent.com`
可补充:
- 普通访问结果:
- `?__nocache=1` 结果:
- 是否一致:
- 当前判断:
## 9. 本轮结论
1.
2.
3.
4.
## 10. 下一步动作
1. 是否继续补提剩余 sitemap
2. 是否继续清理缓存滞后站:
3. 明日优先观察域名:
4. 是否需要继续微调模板: