diff --git a/docs/2026-04-17-当前阶段总结.md b/docs/2026-04-17-当前阶段总结.md new file mode 100644 index 0000000..13bfb5b --- /dev/null +++ b/docs/2026-04-17-当前阶段总结.md @@ -0,0 +1,165 @@ +# 2026-04-17 当前阶段总结 + +这份文档用于把本轮关于前端 nginx、搜索页缓存、安全排障、国内蜘蛛恢复的关键结论压缩成一页。 + +适用场景: + +1. 你想快速回顾“现在到底定下了什么” +2. 新的 Codex 会话需要 1 分钟接手 +3. 需要把这轮结论转发给同事或运维 + +## 一句话结论 + +当前这轮工作已经从“问题排查”进入“规则固化 + 证据补强”阶段: + +1. 前端 nginx 长期规则已经定型 +2. 搜索页双入口兼容已经确认必要 +3. `?__nocache=1` 已作为标准排障入口固定下来 +4. `sogou` 恢复已拿到真实深页 `200` 样本,不再只是推测 + +## 1. 前端 nginx 当前正式规则 + +当前正式上线入口: + +- [/www/wwwroot/diff-maccms/前端站群服务器nginx配置/站点伪静态-最终发布版.txt](/www/wwwroot/diff-maccms/前端站群服务器nginx配置/站点伪静态-最终发布版.txt) + +长期规则: + +1. 搜索页: + - `/get-index` + - `/get/index` + - cache key 带 `$args` +2. 详情页 / 播放页 / 分类页 / 榜单页: + - cache key 不带 `$args` +3. 所有动态页: + - 支持 `?__nocache=1` +4. 排障优先看: + - `X-Cache-Status` + - `X-Cache-Mode` + - `X-Managed-Spider` + +## 2. 为什么搜索页必须双入口兼容 + +已经确认: + +1. `www.jpjdxs.com` + - 搜索入口:`/get-index` +2. `www.jingxifa.com` + - 搜索入口:`/get-index` +3. `www.hyjssb.com` + - 搜索入口:`/get/index` + +同时还通过规则探测确认: + +1. `/get-index?wd=test` + - 会走 `X-Cache-Mode: with-args` +2. `/get/index?wd=test` + - 如果不单独兼容,仍可能落回 `path-only` + +因此: + +1. 双兼容不是冗余项 +2. 是站群真实路由差异决定的必要项 + +## 3. 当前最实用的排障规则 + +以后再遇到“代码像没生效”“页面像串页”“蜘蛛像异常”时,统一按这个顺序: + +1. 先看 `X-Cache-Status` +2. 再看 `X-Cache-Mode` +3. 再看 `X-Managed-Spider` +4. 若仍怀疑前端缓存顶旧 HTML,用: + - `?__nocache=1` +5. 如果 `?__nocache=1` 正常,而普通访问异常,优先清前端缓存 + +## 4. 受管蜘蛛映射当前正确读法 + +当前需要特别注意: + +1. `managed_spiders.map.conf.example` +2. `受管蜘蛛映射-最优方案.txt` + +更接近“样例”和“推荐结构”,不是线上实时快照。 + +所以以后判断某蜘蛛当前是否已纳入 managed spider,不要只看样例文件。 + +正确优先级: + +1. 先看线上真实响应头 `X-Managed-Spider` +2. 再看线上真实 `managed_spiders.map.conf` +3. 最后才参考样例文件 + +## 5. 国内蜘蛛当前阶段判断 + +### `baiduspider` + +1. 恢复结论仍成立 +2. 但单个时间窗样本有时很少 +3. 不要用某一个小窗口直接否定百度恢复 + +### `sogou` + +当前已不宜再简单说成“还是 403 为主”。 + +`2026-04-17T17:30:02+08:00` 这个窗口里: + +1. 总请求数:`10` +2. `200: 9` +3. `404: 1` + +命中的 `200` 深页样本包括: + +1. `www.jingxifa.com /video-detail/cheng-shi-jian-ke-190614` +2. `www.vikau.com /vodplay/xiu-zhen-zhe-zhi-fu-qin-de-cai-fu-110943-maotai-36` +3. `www.cnzhenbang.com /category/dong-man` +4. `www.hyjssb.com /movie/.../154180` + +唯一 `404` 仍是 `hyjssb` 旧路径残留,不代表当前真实路由异常。 + +因此当前更准确的说法是: + +1. `sogou` 已经进入恢复初期 +2. 已拿到真实首页、分类、详情、播放 `200` 样本 +3. 历史旧 `403` 仍然会拖累整体统计观感 + +### `bytespider` + +1. 已出现 `200` 样本 +2. 但当前主要还是 `robots` / 首页层 +3. 还没到像 `sogou` 那样有明显多站深页恢复 + +## 6. 最新日志读取口径 + +当前 `domain-spider-crawl` 的 summary 结构已经变更。 + +旧口径常用字段: + +1. `by_bot` + +新口径应优先看: + +1. `bot_buckets` +2. `summary_status_buckets` +3. `summary_records` + +所以如果后续看到: + +1. `by_bot` 为空 +2. `latest` 看起来像没国内蜘蛛 + +不要立刻下结论。 + +先确认: + +1. 是否是 summary 字段结构变了 +2. 是否需要结合最近几个 run 一起看 + +## 7. 当前阶段最稳的结论 + +如果只保留 5 句,当前最稳的是: + +1. 正式上线模板优先用 `站点伪静态-最终发布版.txt` +2. 搜索页必须兼容 `/get-index` 和 `/get/index` +3. 排障先看响应头,不要先怀疑代码 +4. `sogou` 恢复已拿到真实深页 `200` 样本 +5. 日志摘要读取已经换字段,不能再只看 `by_bot` diff --git a/docs/README.md b/docs/README.md index 781567e..79433ff 100644 --- a/docs/README.md +++ b/docs/README.md @@ -6,7 +6,19 @@ ## 先看什么 -### 1. 当前蜘蛛 / nginx 短摘要 +### 1. 当前阶段一页总结 + +如果你想先用 1 页把这轮结论看完,再决定要不要继续下钻,先看: + +- [2026-04-17-当前阶段总结.md](/www/wwwroot/diff-maccms/SEONexus/docs/2026-04-17-当前阶段总结.md) + +适用场景: + +1. 想快速知道“这轮到底定下了什么” +2. 想用最短材料完成交接 +3. 想先看结论,再决定要不要展开看长文档 + +### 2. 当前蜘蛛 / nginx 短摘要 先看: @@ -19,7 +31,7 @@ 3. 想知道哪些站已经验证通过 4. 想避免把旧日志误判成当前问题 -### 2. 当前总交接文档 +### 3. 当前总交接文档 再看: @@ -32,7 +44,7 @@ 3. 需要多人 / 多 Codex 协作边界 4. 需要正式服接手时的详细步骤 -### 3. 新会话接手检查清单 +### 4. 新会话接手检查清单 如果是新的 Codex 会话、人工值班、跨机器继续跟进,建议再配合使用: @@ -44,7 +56,7 @@ 2. 多人 / 多 Codex 协作时避免漏项 3. 用最短格式记录“当前结论、当前证据、下一步” -### 4. 新 Codex 启动提示词模板 +### 5. 新 Codex 启动提示词模板 如果你准备新开一个 Codex 会话,建议直接复制使用: @@ -58,7 +70,7 @@ 模板里已经区分了不同用途,不用每次重新组织开场描述。 -### 5. 前端 Nginx 切换后复测模板 +### 6. 前端 Nginx 切换后复测模板 如果某台机器刚切换前端站点伪静态,建议直接使用: @@ -70,7 +82,7 @@ 2. 清缓存后的复测记录 3. 需要快速判断“是已生效,还是只是看起来像生效” -### 6. 前端站群 Nginx 配置目录说明 +### 7. 前端站群 Nginx 配置目录说明 如果你需要从服务器目录里直接拿模板,或者要判断“到底该复制哪份伪静态”,建议看: @@ -84,7 +96,7 @@ ## 历史 / 专项文档 -### 7. 老模板回灌执行文档 +### 8. 老模板回灌执行文档 - [1269-SEONexus-老模板第一阶段回灌执行文档.md](/www/wwwroot/diff-maccms/SEONexus/docs/1269-SEONexus-老模板第一阶段回灌执行文档.md) @@ -94,7 +106,7 @@ 2. 对照历史回灌动作 3. 排查旧版本与新版本差异 -### 8. Admin2 Spider Workbench 生产排障记录 +### 9. Admin2 Spider Workbench 生产排障记录 - [2026-04-16-admin2-spider-workbench-production-fix.md](/www/wwwroot/diff-maccms/SEONexus/docs/2026-04-16-admin2-spider-workbench-production-fix.md)