docs(handoff): add current phase one-page summary
This commit is contained in:
165
docs/2026-04-17-当前阶段总结.md
Normal file
165
docs/2026-04-17-当前阶段总结.md
Normal file
@@ -0,0 +1,165 @@
|
|||||||
|
# 2026-04-17 当前阶段总结
|
||||||
|
|
||||||
|
这份文档用于把本轮关于前端 nginx、搜索页缓存、安全排障、国内蜘蛛恢复的关键结论压缩成一页。
|
||||||
|
|
||||||
|
适用场景:
|
||||||
|
|
||||||
|
1. 你想快速回顾“现在到底定下了什么”
|
||||||
|
2. 新的 Codex 会话需要 1 分钟接手
|
||||||
|
3. 需要把这轮结论转发给同事或运维
|
||||||
|
|
||||||
|
## 一句话结论
|
||||||
|
|
||||||
|
当前这轮工作已经从“问题排查”进入“规则固化 + 证据补强”阶段:
|
||||||
|
|
||||||
|
1. 前端 nginx 长期规则已经定型
|
||||||
|
2. 搜索页双入口兼容已经确认必要
|
||||||
|
3. `?__nocache=1` 已作为标准排障入口固定下来
|
||||||
|
4. `sogou` 恢复已拿到真实深页 `200` 样本,不再只是推测
|
||||||
|
|
||||||
|
## 1. 前端 nginx 当前正式规则
|
||||||
|
|
||||||
|
当前正式上线入口:
|
||||||
|
|
||||||
|
- [/www/wwwroot/diff-maccms/前端站群服务器nginx配置/站点伪静态-最终发布版.txt](/www/wwwroot/diff-maccms/前端站群服务器nginx配置/站点伪静态-最终发布版.txt)
|
||||||
|
|
||||||
|
长期规则:
|
||||||
|
|
||||||
|
1. 搜索页:
|
||||||
|
- `/get-index`
|
||||||
|
- `/get/index`
|
||||||
|
- cache key 带 `$args`
|
||||||
|
2. 详情页 / 播放页 / 分类页 / 榜单页:
|
||||||
|
- cache key 不带 `$args`
|
||||||
|
3. 所有动态页:
|
||||||
|
- 支持 `?__nocache=1`
|
||||||
|
4. 排障优先看:
|
||||||
|
- `X-Cache-Status`
|
||||||
|
- `X-Cache-Mode`
|
||||||
|
- `X-Managed-Spider`
|
||||||
|
|
||||||
|
## 2. 为什么搜索页必须双入口兼容
|
||||||
|
|
||||||
|
已经确认:
|
||||||
|
|
||||||
|
1. `www.jpjdxs.com`
|
||||||
|
- 搜索入口:`/get-index`
|
||||||
|
2. `www.jingxifa.com`
|
||||||
|
- 搜索入口:`/get-index`
|
||||||
|
3. `www.hyjssb.com`
|
||||||
|
- 搜索入口:`/get/index`
|
||||||
|
|
||||||
|
同时还通过规则探测确认:
|
||||||
|
|
||||||
|
1. `/get-index?wd=test`
|
||||||
|
- 会走 `X-Cache-Mode: with-args`
|
||||||
|
2. `/get/index?wd=test`
|
||||||
|
- 如果不单独兼容,仍可能落回 `path-only`
|
||||||
|
|
||||||
|
因此:
|
||||||
|
|
||||||
|
1. 双兼容不是冗余项
|
||||||
|
2. 是站群真实路由差异决定的必要项
|
||||||
|
|
||||||
|
## 3. 当前最实用的排障规则
|
||||||
|
|
||||||
|
以后再遇到“代码像没生效”“页面像串页”“蜘蛛像异常”时,统一按这个顺序:
|
||||||
|
|
||||||
|
1. 先看 `X-Cache-Status`
|
||||||
|
2. 再看 `X-Cache-Mode`
|
||||||
|
3. 再看 `X-Managed-Spider`
|
||||||
|
4. 若仍怀疑前端缓存顶旧 HTML,用:
|
||||||
|
- `?__nocache=1`
|
||||||
|
5. 如果 `?__nocache=1` 正常,而普通访问异常,优先清前端缓存
|
||||||
|
|
||||||
|
## 4. 受管蜘蛛映射当前正确读法
|
||||||
|
|
||||||
|
当前需要特别注意:
|
||||||
|
|
||||||
|
1. `managed_spiders.map.conf.example`
|
||||||
|
2. `受管蜘蛛映射-最优方案.txt`
|
||||||
|
|
||||||
|
更接近“样例”和“推荐结构”,不是线上实时快照。
|
||||||
|
|
||||||
|
所以以后判断某蜘蛛当前是否已纳入 managed spider,不要只看样例文件。
|
||||||
|
|
||||||
|
正确优先级:
|
||||||
|
|
||||||
|
1. 先看线上真实响应头 `X-Managed-Spider`
|
||||||
|
2. 再看线上真实 `managed_spiders.map.conf`
|
||||||
|
3. 最后才参考样例文件
|
||||||
|
|
||||||
|
## 5. 国内蜘蛛当前阶段判断
|
||||||
|
|
||||||
|
### `baiduspider`
|
||||||
|
|
||||||
|
1. 恢复结论仍成立
|
||||||
|
2. 但单个时间窗样本有时很少
|
||||||
|
3. 不要用某一个小窗口直接否定百度恢复
|
||||||
|
|
||||||
|
### `sogou`
|
||||||
|
|
||||||
|
当前已不宜再简单说成“还是 403 为主”。
|
||||||
|
|
||||||
|
`2026-04-17T17:30:02+08:00` 这个窗口里:
|
||||||
|
|
||||||
|
1. 总请求数:`10`
|
||||||
|
2. `200: 9`
|
||||||
|
3. `404: 1`
|
||||||
|
|
||||||
|
命中的 `200` 深页样本包括:
|
||||||
|
|
||||||
|
1. `www.jingxifa.com /video-detail/cheng-shi-jian-ke-190614`
|
||||||
|
2. `www.vikau.com /vodplay/xiu-zhen-zhe-zhi-fu-qin-de-cai-fu-110943-maotai-36`
|
||||||
|
3. `www.cnzhenbang.com /category/dong-man`
|
||||||
|
4. `www.hyjssb.com /movie/.../154180`
|
||||||
|
|
||||||
|
唯一 `404` 仍是 `hyjssb` 旧路径残留,不代表当前真实路由异常。
|
||||||
|
|
||||||
|
因此当前更准确的说法是:
|
||||||
|
|
||||||
|
1. `sogou` 已经进入恢复初期
|
||||||
|
2. 已拿到真实首页、分类、详情、播放 `200` 样本
|
||||||
|
3. 历史旧 `403` 仍然会拖累整体统计观感
|
||||||
|
|
||||||
|
### `bytespider`
|
||||||
|
|
||||||
|
1. 已出现 `200` 样本
|
||||||
|
2. 但当前主要还是 `robots` / 首页层
|
||||||
|
3. 还没到像 `sogou` 那样有明显多站深页恢复
|
||||||
|
|
||||||
|
## 6. 最新日志读取口径
|
||||||
|
|
||||||
|
当前 `domain-spider-crawl` 的 summary 结构已经变更。
|
||||||
|
|
||||||
|
旧口径常用字段:
|
||||||
|
|
||||||
|
1. `by_bot`
|
||||||
|
|
||||||
|
新口径应优先看:
|
||||||
|
|
||||||
|
1. `bot_buckets`
|
||||||
|
2. `summary_status_buckets`
|
||||||
|
3. `summary_records`
|
||||||
|
|
||||||
|
所以如果后续看到:
|
||||||
|
|
||||||
|
1. `by_bot` 为空
|
||||||
|
2. `latest` 看起来像没国内蜘蛛
|
||||||
|
|
||||||
|
不要立刻下结论。
|
||||||
|
|
||||||
|
先确认:
|
||||||
|
|
||||||
|
1. 是否是 summary 字段结构变了
|
||||||
|
2. 是否需要结合最近几个 run 一起看
|
||||||
|
|
||||||
|
## 7. 当前阶段最稳的结论
|
||||||
|
|
||||||
|
如果只保留 5 句,当前最稳的是:
|
||||||
|
|
||||||
|
1. 正式上线模板优先用 `站点伪静态-最终发布版.txt`
|
||||||
|
2. 搜索页必须兼容 `/get-index` 和 `/get/index`
|
||||||
|
3. 排障先看响应头,不要先怀疑代码
|
||||||
|
4. `sogou` 恢复已拿到真实深页 `200` 样本
|
||||||
|
5. 日志摘要读取已经换字段,不能再只看 `by_bot`
|
||||||
@@ -6,7 +6,19 @@
|
|||||||
|
|
||||||
## 先看什么
|
## 先看什么
|
||||||
|
|
||||||
### 1. 当前蜘蛛 / nginx 短摘要
|
### 1. 当前阶段一页总结
|
||||||
|
|
||||||
|
如果你想先用 1 页把这轮结论看完,再决定要不要继续下钻,先看:
|
||||||
|
|
||||||
|
- [2026-04-17-当前阶段总结.md](/www/wwwroot/diff-maccms/SEONexus/docs/2026-04-17-当前阶段总结.md)
|
||||||
|
|
||||||
|
适用场景:
|
||||||
|
|
||||||
|
1. 想快速知道“这轮到底定下了什么”
|
||||||
|
2. 想用最短材料完成交接
|
||||||
|
3. 想先看结论,再决定要不要展开看长文档
|
||||||
|
|
||||||
|
### 2. 当前蜘蛛 / nginx 短摘要
|
||||||
|
|
||||||
先看:
|
先看:
|
||||||
|
|
||||||
@@ -19,7 +31,7 @@
|
|||||||
3. 想知道哪些站已经验证通过
|
3. 想知道哪些站已经验证通过
|
||||||
4. 想避免把旧日志误判成当前问题
|
4. 想避免把旧日志误判成当前问题
|
||||||
|
|
||||||
### 2. 当前总交接文档
|
### 3. 当前总交接文档
|
||||||
|
|
||||||
再看:
|
再看:
|
||||||
|
|
||||||
@@ -32,7 +44,7 @@
|
|||||||
3. 需要多人 / 多 Codex 协作边界
|
3. 需要多人 / 多 Codex 协作边界
|
||||||
4. 需要正式服接手时的详细步骤
|
4. 需要正式服接手时的详细步骤
|
||||||
|
|
||||||
### 3. 新会话接手检查清单
|
### 4. 新会话接手检查清单
|
||||||
|
|
||||||
如果是新的 Codex 会话、人工值班、跨机器继续跟进,建议再配合使用:
|
如果是新的 Codex 会话、人工值班、跨机器继续跟进,建议再配合使用:
|
||||||
|
|
||||||
@@ -44,7 +56,7 @@
|
|||||||
2. 多人 / 多 Codex 协作时避免漏项
|
2. 多人 / 多 Codex 协作时避免漏项
|
||||||
3. 用最短格式记录“当前结论、当前证据、下一步”
|
3. 用最短格式记录“当前结论、当前证据、下一步”
|
||||||
|
|
||||||
### 4. 新 Codex 启动提示词模板
|
### 5. 新 Codex 启动提示词模板
|
||||||
|
|
||||||
如果你准备新开一个 Codex 会话,建议直接复制使用:
|
如果你准备新开一个 Codex 会话,建议直接复制使用:
|
||||||
|
|
||||||
@@ -58,7 +70,7 @@
|
|||||||
|
|
||||||
模板里已经区分了不同用途,不用每次重新组织开场描述。
|
模板里已经区分了不同用途,不用每次重新组织开场描述。
|
||||||
|
|
||||||
### 5. 前端 Nginx 切换后复测模板
|
### 6. 前端 Nginx 切换后复测模板
|
||||||
|
|
||||||
如果某台机器刚切换前端站点伪静态,建议直接使用:
|
如果某台机器刚切换前端站点伪静态,建议直接使用:
|
||||||
|
|
||||||
@@ -70,7 +82,7 @@
|
|||||||
2. 清缓存后的复测记录
|
2. 清缓存后的复测记录
|
||||||
3. 需要快速判断“是已生效,还是只是看起来像生效”
|
3. 需要快速判断“是已生效,还是只是看起来像生效”
|
||||||
|
|
||||||
### 6. 前端站群 Nginx 配置目录说明
|
### 7. 前端站群 Nginx 配置目录说明
|
||||||
|
|
||||||
如果你需要从服务器目录里直接拿模板,或者要判断“到底该复制哪份伪静态”,建议看:
|
如果你需要从服务器目录里直接拿模板,或者要判断“到底该复制哪份伪静态”,建议看:
|
||||||
|
|
||||||
@@ -84,7 +96,7 @@
|
|||||||
|
|
||||||
## 历史 / 专项文档
|
## 历史 / 专项文档
|
||||||
|
|
||||||
### 7. 老模板回灌执行文档
|
### 8. 老模板回灌执行文档
|
||||||
|
|
||||||
- [1269-SEONexus-老模板第一阶段回灌执行文档.md](/www/wwwroot/diff-maccms/SEONexus/docs/1269-SEONexus-老模板第一阶段回灌执行文档.md)
|
- [1269-SEONexus-老模板第一阶段回灌执行文档.md](/www/wwwroot/diff-maccms/SEONexus/docs/1269-SEONexus-老模板第一阶段回灌执行文档.md)
|
||||||
|
|
||||||
@@ -94,7 +106,7 @@
|
|||||||
2. 对照历史回灌动作
|
2. 对照历史回灌动作
|
||||||
3. 排查旧版本与新版本差异
|
3. 排查旧版本与新版本差异
|
||||||
|
|
||||||
### 8. Admin2 Spider Workbench 生产排障记录
|
### 9. Admin2 Spider Workbench 生产排障记录
|
||||||
|
|
||||||
- [2026-04-16-admin2-spider-workbench-production-fix.md](/www/wwwroot/diff-maccms/SEONexus/docs/2026-04-16-admin2-spider-workbench-production-fix.md)
|
- [2026-04-16-admin2-spider-workbench-production-fix.md](/www/wwwroot/diff-maccms/SEONexus/docs/2026-04-16-admin2-spider-workbench-production-fix.md)
|
||||||
|
|
||||||
|
|||||||
Reference in New Issue
Block a user