# 2026-04-17 当前阶段总结

这份文档用于把本轮关于前端 nginx、搜索页缓存、安全排障、国内蜘蛛恢复的关键结论压缩成一页。

适用场景：

1. 你想快速回顾“现在到底定下了什么”
2. 新的 Codex 会话需要 1 分钟接手
3. 需要把这轮结论转发给同事或运维

## 一句话结论

当前这轮工作已经从“问题排查”进入“规则固化 + 证据补强”阶段：

1. 前端 nginx 长期规则已经定型
2. 搜索页双入口兼容已经确认必要
3. `?__nocache=1` 已作为标准排障入口固定下来
4. `sogou` 恢复已拿到真实深页 `200` 样本，不再只是推测

## 1. 前端 nginx 当前正式规则

当前正式上线入口：

- [/www/wwwroot/diff-maccms/前端站群服务器nginx配置/站点伪静态-最终发布版.txt](/www/wwwroot/diff-maccms/前端站群服务器nginx配置/站点伪静态-最终发布版.txt)

长期规则：

1. 搜索页：
   - `/get-index`
   - `/get/index`
   - cache key 带 `$args`
2. 详情页 / 播放页 / 分类页 / 榜单页：
   - cache key 不带 `$args`
3. 所有动态页：
   - 支持 `?__nocache=1`
4. 排障优先看：
   - `X-Cache-Status`
   - `X-Cache-Mode`
   - `X-Managed-Spider`

## 2. 为什么搜索页必须双入口兼容

已经确认：

1. `www.jpjdxs.com`
   - 搜索入口：`/get-index`
2. `www.jingxifa.com`
   - 搜索入口：`/get-index`
3. `www.hyjssb.com`
   - 搜索入口：`/get/index`

同时还通过规则探测确认：

1. `/get-index?wd=test`
   - 会走 `X-Cache-Mode: with-args`
2. `/get/index?wd=test`
   - 如果不单独兼容，仍可能落回 `path-only`

因此：

1. 双兼容不是冗余项
2. 是站群真实路由差异决定的必要项

## 3. 当前最实用的排障规则

以后再遇到“代码像没生效”“页面像串页”“蜘蛛像异常”时，统一按这个顺序：

1. 先看 `X-Cache-Status`
2. 再看 `X-Cache-Mode`
3. 再看 `X-Managed-Spider`
4. 若仍怀疑前端缓存顶旧 HTML，用：
   - `?__nocache=1`
5. 如果 `?__nocache=1` 正常，而普通访问异常，优先清前端缓存

## 4. 受管蜘蛛映射当前正确读法

当前需要特别注意：

1. `managed_spiders.map.conf.example`
2. `受管蜘蛛映射-最优方案.txt`

更接近“样例”和“推荐结构”，不是线上实时快照。

所以以后判断某蜘蛛当前是否已纳入 managed spider，不要只看样例文件。

正确优先级：

1. 先看线上真实响应头 `X-Managed-Spider`
2. 再看线上真实 `managed_spiders.map.conf`
3. 最后才参考样例文件

## 5. 国内蜘蛛当前阶段判断

### `baiduspider`

1. 恢复结论仍成立
2. 但单个时间窗样本有时很少
3. 不要用某一个小窗口直接否定百度恢复

### `sogou`

当前已不宜再简单说成“还是 403 为主”。

`2026-04-17T17:30:02+08:00` 这个窗口里：

1. 总请求数：`10`
2. `200: 9`
3. `404: 1`

命中的 `200` 深页样本包括：

1. `www.jingxifa.com /video-detail/cheng-shi-jian-ke-190614`
2. `www.vikau.com /vodplay/xiu-zhen-zhe-zhi-fu-qin-de-cai-fu-110943-maotai-36`
3. `www.cnzhenbang.com /category/dong-man`
4. `www.hyjssb.com /movie/.../154180`

唯一 `404` 仍是 `hyjssb` 旧路径残留，不代表当前真实路由异常。

因此当前更准确的说法是：

1. `sogou` 已经进入恢复初期
2. 已拿到真实首页、分类、详情、播放 `200` 样本
3. 历史旧 `403` 仍然会拖累整体统计观感

### `bytespider`

1. 已出现 `200` 样本
2. 但当前主要还是 `robots` / 首页层
3. 还没到像 `sogou` 那样有明显多站深页恢复

## 6. 最新日志读取口径

当前 `domain-spider-crawl` 的 summary 结构已经变更。

旧口径常用字段：

1. `by_bot`

新口径应优先看：

1. `bot_buckets`
2. `summary_status_buckets`
3. `summary_records`

所以如果后续看到：

1. `by_bot` 为空
2. `latest` 看起来像没国内蜘蛛

不要立刻下结论。

先确认：

1. 是否是 summary 字段结构变了
2. 是否需要结合最近几个 run 一起看

## 7. 当前阶段最稳的结论

如果只保留 5 句，当前最稳的是：

1. 正式上线模板优先用 `站点伪静态-最终发布版.txt`
2. 搜索页必须兼容 `/get-index` 和 `/get/index`
3. 排障先看响应头，不要先怀疑代码
4. `sogou` 恢复已拿到真实深页 `200` 样本
5. 日志摘要读取已经换字段，不能再只看 `by_bot`