488 lines
12 KiB
Markdown
488 lines
12 KiB
Markdown
# 2026-04-18 B组9站 蜘蛛回访分析
|
||
|
||
## 1. 基本信息
|
||
|
||
- 日期:`2026-04-18`
|
||
- 分析人:`Codex / 团队`
|
||
- 分析范围:`B组 9 站`
|
||
- 日志时间窗口:`2026-04-17 09:10:03 ~ 2026-04-17 22:20:02`
|
||
- 关联动作:
|
||
- 已提交 sitemap:`B组9站已纳入首批推收录名单,主入口以 /sitemap.xml / sitemap_index.xml / sitemap-main.xml 为准`
|
||
- 已清缓存域名:`待继续跟进 lcdchq.com / oronorent.com`
|
||
- 已上线模板修复:`详情 slug-only 兜底、HEAD 兼容、sitemap 修复、搜索页 h1 补强、播放页 h1 补强`
|
||
|
||
## 2. 本轮关注域名
|
||
|
||
1. `gxhongzhuang.com`
|
||
2. `jpjdxs.com`
|
||
3. `jxxgygy.com`
|
||
4. `lcdchq.com`
|
||
5. `leici1940.com`
|
||
6. `lgyz.net`
|
||
7. `oronorent.com`
|
||
8. `pcslcl.com`
|
||
9. `sdxtwnc.com`
|
||
|
||
## 3. 本轮关注目标
|
||
|
||
1. `sitemap_index.xml` 是否开始被抓
|
||
2. `sitemap-main.xml` 是否开始被抓
|
||
3. 搜索页是否出现蜘蛛回访
|
||
4. 详情页是否开始出现命中
|
||
5. 播放页是否开始出现命中
|
||
6. 是否出现连续抓取链路:
|
||
- `sitemap -> search -> detail`
|
||
- `sitemap -> detail -> play`
|
||
7. 是否仍存在旧 404 深链被反复访问
|
||
|
||
## 4. 蜘蛛来源概览
|
||
|
||
### 百度蜘蛛
|
||
|
||
- 请求数:`95`
|
||
- 命中域名:
|
||
- `gxhongzhuang.com`
|
||
- `jpjdxs.com`
|
||
- `jxxgygy.com`
|
||
- `lcdchq.com`
|
||
- `leici1940.com`
|
||
- `lgyz.net`
|
||
- `pcslcl.com`
|
||
- `sdxtwnc.com`
|
||
- 主要命中页面类型:
|
||
- `home`
|
||
- `detail`
|
||
- `other`
|
||
|
||
### 必应蜘蛛
|
||
|
||
- 请求数:`36`
|
||
- 命中域名:
|
||
- `gxhongzhuang.com`
|
||
- `jxxgygy.com`
|
||
- `lcdchq.com`
|
||
- `lgyz.net`
|
||
- 主要命中页面类型:
|
||
- `robots`
|
||
- `other`
|
||
- `detail`
|
||
|
||
### 其他中文搜索蜘蛛
|
||
|
||
- 请求数:`115`
|
||
- 命中域名:
|
||
- `jpjdxs.com`
|
||
- `jxxgygy.com`
|
||
- `lcdchq.com`
|
||
- `lgyz.net`
|
||
- `oronorent.com`
|
||
- 主要命中页面类型:
|
||
- `home`
|
||
- `detail`
|
||
- `play`
|
||
- `other`
|
||
|
||
### 普通浏览器访问
|
||
|
||
- 请求数:`本次统计只看蜘蛛 crawl push 数据,不混入普通浏览器访问`
|
||
- 是否需要与蜘蛛流量区分:`是`
|
||
|
||
## 5. 各域名命中概览
|
||
|
||
### `gxhongzhuang.com`
|
||
|
||
- sitemap:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- search:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- detail:
|
||
- 是否命中:`是`
|
||
- 命中次数:`4`
|
||
- 典型路径:
|
||
- `/voddetail/xi-xue-gui-ji-nv-184448`
|
||
- play:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- old 404:
|
||
- 是否出现:`当前窗口未见明显旧 404`
|
||
- 典型路径:`无`
|
||
|
||
补充观察:
|
||
|
||
- summary 总请求:`46`
|
||
- 当前已见:
|
||
- 首页 `/ => 200`
|
||
- 详情页 `/voddetail/xi-xue-gui-ji-nv-184448 => 200`
|
||
- 当前风险:
|
||
- `googlebot` 对 `/robots.txt` 大量 `444`
|
||
- `bingbot` 对小说 / feed 类路径命中 `444`
|
||
|
||
### `jpjdxs.com`
|
||
|
||
- sitemap:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- search:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- detail:
|
||
- 是否命中:`是,但当前被归到 other`
|
||
- 命中次数:`2`
|
||
- 典型路径:
|
||
- `/neirong-154229-xiang-feng-bu-shi-jiu-shi-ren`
|
||
- play:
|
||
- 是否命中:`是,但当前被归到 other`
|
||
- 命中次数:`2`
|
||
- 典型路径:
|
||
- `/bf-154229-xiang-feng-bu-shi-jiu-shi-ren/default-1`
|
||
- old 404:
|
||
- 是否出现:`当前窗口未见`
|
||
- 典型路径:`无`
|
||
- 关注项:
|
||
- `search_header_media.html` 修复后是否已开始被蜘蛛正常命中:`当前窗口还未出现真实搜索页回访,但详情 / 播放样式路径已能被正常抓到 200`
|
||
|
||
补充观察:
|
||
|
||
- summary 总请求:`20`
|
||
- 当前已见:
|
||
- 首页 `/ => 200`
|
||
- `/robots.txt => 200`
|
||
- 详情样式路径 `200`
|
||
- 播放样式路径 `200`
|
||
|
||
### `jxxgygy.com`
|
||
|
||
- sitemap:
|
||
- 是否命中:`是,但为异常命中`
|
||
- 命中次数:`1`
|
||
- 典型路径:
|
||
- `/sitemap.xml => 444`
|
||
- search:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- detail:
|
||
- 是否命中:`未形成明确 detail 分类,但已有内容页探测`
|
||
- 命中次数:`若干`
|
||
- 典型路径:
|
||
- `/vod/ben-zhuo-zhi-ji-de-qian-bei-169019`
|
||
- `/vod/wo-zai-mo-shi-dang-lao-ban-yuan-gong-quan-shi-ji-sang-shi-dong-tai-man-hua-169368`
|
||
- `/vod/wu-lian-shen-gong-168705`
|
||
- play:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- old 404:
|
||
- 是否出现:`当前窗口未见典型旧 404 深链池`
|
||
- 典型路径:`无`
|
||
|
||
补充观察:
|
||
|
||
- summary 总请求:`35`
|
||
- 当前主要层级:
|
||
- `home: 19`
|
||
- `other: 13`
|
||
- 当前已见:
|
||
- 首页 `/ => 17 次 200`
|
||
- 当前风险:
|
||
- `sogou` 对若干内容路径仍混有 `301 / 403`
|
||
- `/sitemap.xml => 444` 需要后续单独复核
|
||
|
||
### `lcdchq.com`
|
||
|
||
- sitemap:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- search:
|
||
- 是否命中:`仅见测试探针`
|
||
- 命中次数:`2`
|
||
- 典型路径:
|
||
- `/get-index?wd=test`
|
||
- `/get/index?wd=test`
|
||
- detail:
|
||
- 是否命中:`是`
|
||
- 命中次数:`1`
|
||
- 典型路径:
|
||
- `/movie/154180-yi-gua-ding-qing-yuan-ye-ya-tou-jin-cheng-bei-tuan-chong`
|
||
- play:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- old 404:
|
||
- 是否出现:`出现测试入口 404`
|
||
- 典型路径:
|
||
- `/get-index?wd=test`
|
||
- `/get/index?wd=test`
|
||
- cache status:
|
||
- 普通访问是否仍落后于 `?__nocache=1`:`是,之前已确认属于缓存滞后站`
|
||
- 当前判断:`优先清缓存,不先继续改模板`
|
||
|
||
补充观察:
|
||
|
||
- summary 总请求:`59`
|
||
- 当前已见:
|
||
- 首页 `/ => 200`
|
||
- 详情页 `200`
|
||
- 当前风险:
|
||
- `/admin.php => 301` 高占比,属于噪音探测
|
||
- `/robots.txt` 混有 `444 / 301 / 403`
|
||
|
||
### `leici1940.com`
|
||
|
||
- sitemap:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- search:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- detail:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- play:
|
||
- 是否命中:`是,但当前被归到 other`
|
||
- 命中次数:`8`
|
||
- 典型路径:
|
||
- `/vodbf/qin-mi-da-dang-wu-di-lv-shi-83631-default-1`
|
||
- `/vodbf/zhong-guo-xi-ju-xing-di-yi-ji-68746-default-1`
|
||
- old 404:
|
||
- 是否出现:`当前窗口未见明显旧 404`
|
||
- 典型路径:`无`
|
||
|
||
补充观察:
|
||
|
||
- summary 总请求:`55`
|
||
- 当前深页正向样本主要来自百度蜘蛛命中播放样式路径
|
||
- 当前首页与 robots 仍以 `444` 为主
|
||
|
||
### `lgyz.net`
|
||
|
||
- sitemap:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- search:
|
||
- 是否命中:`仅见测试探针`
|
||
- 命中次数:`2`
|
||
- 典型路径:
|
||
- `/get-index?wd=test`
|
||
- `/get/index?wd=test`
|
||
- detail:
|
||
- 是否命中:`是`
|
||
- 命中次数:`11`
|
||
- 典型路径:
|
||
- `/voddetail/fan-pai-da-ming-xing-68838`
|
||
- `/voddetail/mo-shi-chao-neng-li-zhe-dong-tai-man-hua-69869`
|
||
- play:
|
||
- 是否命中:`是`
|
||
- 命中次数:`9`
|
||
- 典型路径:
|
||
- `/vodplay/ming-zhen-tan-ke-nan-27577-youzhi-542`
|
||
- `/vodplay/shi-shang-wan-jia-25834-youzhi-475`
|
||
- `/vodplay/shi-shang-wan-jia-25834-youzhi-444`
|
||
- old 404:
|
||
- 是否出现:`出现测试入口 404`
|
||
- 典型路径:
|
||
- `/get-index?wd=test`
|
||
- `/get/index?wd=test`
|
||
|
||
补充观察:
|
||
|
||
- summary 总请求:`39`
|
||
- 当前已见:
|
||
- 首页 `/ => 200`
|
||
- 详情页 `200`
|
||
- 播放页已有命中,但混有大量 `403`
|
||
- 当前风险:
|
||
- `sogou` 对播放页仍有大量 `403`
|
||
- `/robots.txt` 状态不够稳定
|
||
|
||
### `oronorent.com`
|
||
|
||
- sitemap:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- search:
|
||
- 是否命中:`仅见测试探针`
|
||
- 命中次数:`2`
|
||
- 典型路径:
|
||
- `/get-index?wd=test`
|
||
- `/get/index?wd=test`
|
||
- detail:
|
||
- 是否命中:`是,但当前被归到 other`
|
||
- 命中次数:`1`
|
||
- 典型路径:
|
||
- `/shipin/154173-yi-gua-ding-qian-kun`
|
||
- play:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- old 404:
|
||
- 是否出现:`出现测试入口 404`
|
||
- 典型路径:
|
||
- `/get-index?wd=test`
|
||
- `/get/index?wd=test`
|
||
- cache status:
|
||
- 普通访问是否仍落后于 `?__nocache=1`:`是,之前已列为缓存滞后站`
|
||
- 当前判断:`优先清缓存,再继续观察详情层回访`
|
||
|
||
补充观察:
|
||
|
||
- summary 总请求:`18`
|
||
- 当前已见:
|
||
- `/shipin/154173-yi-gua-ding-qian-kun => 200`
|
||
- 当前风险:
|
||
- 首页与 robots 仍混有 `301 / 403 / 444`
|
||
|
||
### `pcslcl.com`
|
||
|
||
- sitemap:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- search:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- detail:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- play:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- old 404:
|
||
- 是否出现:`当前窗口未见典型旧 404`
|
||
- 典型路径:`无`
|
||
|
||
补充观察:
|
||
|
||
- summary 总请求:`218`
|
||
- 当前几乎全部是 `robots.txt => 444`
|
||
- 当前只拿到极少量首页 `200`
|
||
- 仍处于首页前的 robots 层
|
||
|
||
### `sdxtwnc.com`
|
||
|
||
- sitemap:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- search:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- detail:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- play:
|
||
- 是否命中:`否`
|
||
- 命中次数:`0`
|
||
- 典型路径:`无`
|
||
- old 404:
|
||
- 是否出现:`当前窗口未见`
|
||
- 典型路径:`无`
|
||
|
||
补充观察:
|
||
|
||
- summary 总请求:`32`
|
||
- 当前已见:
|
||
- 首页 `/ => 19 次 200`
|
||
- 当前阶段仍属于首页层回访
|
||
|
||
## 6. 正向信号判断
|
||
|
||
- 是否出现 `sitemap -> search -> detail`:`当前窗口未直接看到完整链路`
|
||
- 是否出现 `sitemap -> detail -> play`:`在 lgyz.net、jpjdxs.com、gxhongzhuang.com、lcdchq.com 已看到不同层级深页 200,但未直接回溯到 sitemap`
|
||
- 是否出现 `home -> search -> detail`:`未形成稳定链路`
|
||
- 是否出现详情页重复访问:`是,gxhongzhuang.com、lgyz.net、lcdchq.com 已出现 detail 层命中`
|
||
- 是否出现播放页稳定命中:`是,lgyz.net、jpjdxs.com、leici1940.com 已出现播放样式路径命中`
|
||
|
||
## 7. 风险信号判断
|
||
|
||
### 风险 1
|
||
|
||
- 域名:`pcslcl.com`
|
||
- 表现:`当前几乎全部停留在 robots 层,214 次 robots 444,仅 1 次首页 200`
|
||
- 可能原因:
|
||
- 仍未进入有效页面发现阶段
|
||
- 谷歌探测集中在 robots
|
||
- 建议动作:
|
||
- 继续提交 sitemap 主入口
|
||
- 明日继续观察是否开始进入首页或详情层
|
||
|
||
### 风险 2
|
||
|
||
- 域名:`lcdchq.com`
|
||
- 表现:`已有首页与详情 200,但普通访问与 ?__nocache=1 已知存在缓存滞后`
|
||
- 可能原因:
|
||
- 前端缓存未完全刷新
|
||
- 蜘蛛与人工访问可能命中不同 HTML
|
||
- 建议动作:
|
||
- 优先清缓存
|
||
- 清缓存后复查详情页 h1、canonical、播放页链路
|
||
|
||
### 风险 3
|
||
|
||
- 域名:`oronorent.com`
|
||
- 表现:`已见单个详情样式路径 200,但首页 / robots 状态混杂,且属于已知缓存滞后站`
|
||
- 可能原因:
|
||
- 缓存滞后
|
||
- 蜘蛛仍在试探旧入口
|
||
- 建议动作:
|
||
- 优先清缓存
|
||
- 继续观察是否从单个详情样本扩展到更多深页
|
||
|
||
### 风险 4
|
||
|
||
- 域名:`jxxgygy.com`
|
||
- 表现:`/sitemap.xml 在当前窗口出现 444`
|
||
- 可能原因:
|
||
- 单次探针异常
|
||
- 该时段前端或规则响应不稳定
|
||
- 建议动作:
|
||
- 单独复测 sitemap 主入口
|
||
- 若复测正常,则先视为时间窗异常,不立刻大改
|
||
- 建议动作:
|
||
|
||
## 8. 缓存相关观察
|
||
|
||
重点域名:
|
||
|
||
1. `lcdchq.com`
|
||
2. `oronorent.com`
|
||
|
||
可补充:
|
||
|
||
- 普通访问结果:
|
||
- `?__nocache=1` 结果:
|
||
- 是否一致:
|
||
- 当前判断:
|
||
|
||
## 9. 本轮结论
|
||
|
||
1.
|
||
2.
|
||
3.
|
||
4.
|
||
|
||
## 10. 下一步动作
|
||
|
||
1. 是否继续补提剩余 sitemap:
|
||
2. 是否继续清理缓存滞后站:
|
||
3. 明日优先观察域名:
|
||
4. 是否需要继续微调模板:
|