172 lines
4.6 KiB
Markdown
172 lines
4.6 KiB
Markdown
# 2026-04-17 Spider / Nginx 运维摘要
|
|
|
|
## 接手前必读 5 条
|
|
|
|
任何新的 Codex / 运维 / 人工接手这一段工作前，先遵守这 5 条：
|
|
|
|
1. 先看当前线上复测，再看历史日志
|
|
2. 先确认真实路由，再判断是否还存在问题
|
|
3. 前端排障先看 `X-Cache-Status / X-Cache-Mode / X-Managed-Spider`
|
|
4. 不要把旧路径残留误判成前端蜘蛛拦截
|
|
5. 如果需要完整证据链，再去看：
|
|
[1270-SEONexus-Codex多版本协作交接总文档.md](/www/wwwroot/diff-maccms/SEONexus/docs/1270-SEONexus-Codex多版本协作交接总文档.md)
|
|
|
|
## 1. 当前结论
|
|
|
|
截至 `2026-04-17` 晚间，这轮前端 nginx 优化已经从“问题排查期”进入“效果验证期”。
|
|
|
|
当前更准确的整体判断：
|
|
|
|
1. `baiduspider`
|
|
- 恢复最好
|
|
- 首页、详情、播放均已有稳定 `200` 样本
|
|
2. `sogou`
|
|
- 正在恢复初期
|
|
- 历史累计仍有较多 `403`
|
|
- 但最新窗口已出现多个真实 `200` 深页样本
|
|
3. `bytespider`
|
|
- 目前仍主要停留在 `robots` 层
|
|
- 当前实测 `robots.txt` 已基本可通
|
|
- 但暂未进入 `managed spider` 标签链
|
|
|
|
## 2. 当前长期标准方案
|
|
|
|
前端 nginx 当前建议统一采用：
|
|
|
|
- [站点伪静态-受管蜘蛛放行版-动态页安全缓存.txt](/www/wwwroot/diff-maccms/前端站群服务器nginx配置/站点伪静态-受管蜘蛛放行版-动态页安全缓存.txt)
|
|
|
|
核心规则：
|
|
|
|
1. 搜索页 `/get-index` 或对应搜索入口
|
|
- cache key 带 `$args`
|
|
2. 详情页 / 播放页 / 分类页 / 榜单页
|
|
- cache key 不带 `$args`
|
|
3. 所有动态页支持：
|
|
- `?__nocache=1`
|
|
4. 排障优先顺序：
|
|
- 先看 `X-Cache-Status`
|
|
- 再看 `X-Cache-Mode`
|
|
- 最后再决定是否需要清前端缓存
|
|
|
|
## 3. 已验证通过的站点
|
|
|
|
当前已人工复测通过的代表站点：
|
|
|
|
1. `www.jpjdxs.com`
|
|
2. `www.lgyz.net`
|
|
3. `www.lcdchq.com`
|
|
4. `www.oronorent.com`
|
|
5. `www.glae.cc`
|
|
6. `www.cnzhenbang.com`
|
|
7. `www.jingxifa.com`
|
|
8. `www.vikau.com`
|
|
9. `www.hyjssb.com`
|
|
|
|
这些站点已验证到以下至少一项或多项：
|
|
|
|
1. 首页 `200`
|
|
2. `Sogou` 首页 `200`
|
|
3. 真实详情页 / 播放页 / 分类页 `200`
|
|
4. `?__nocache=1` 绕缓存正常
|
|
5. `X-Managed-Spider` / `X-Cache-Mode` / `X-Cache-Status` 头部符合预期
|
|
|
|
## 4. 需要特别记住的误判点
|
|
|
|
### 4.1 不要把旧日志直接当成当前状态
|
|
|
|
历史 run 中的大量：
|
|
|
|
1. `sogou 403`
|
|
2. `bytespider 403/444`
|
|
3. 某些 `301`
|
|
|
|
很多已经被当前线上复测推翻。
|
|
|
|
因此规则是：
|
|
|
|
1. 先看历史日志趋势
|
|
2. 再用真实 URL + 真实 UA 做当前线上复测
|
|
3. 以“当前线上复测”作为最终判断依据
|
|
|
|
### 4.2 不要把旧路径残留误判为前端拦截
|
|
|
|
典型案例：
|
|
|
|
1. `hyjssb`
|
|
- 历史日志里的旧路径：
|
|
- `/shipinfenlei-...`
|
|
- 当前真实路由已经变成：
|
|
- `/genres/...`
|
|
- `/movie/...`
|
|
- 因此旧路径 `404` 不代表当前蜘蛛拦截
|
|
|
|
## 5. 当前最有价值的阶段性判断
|
|
|
|
### 5.1 `sogou`
|
|
|
|
历史大盘仍难看，但最新窗口已出现真实恢复样本：
|
|
|
|
1. `www.jpjdxs.com`
|
|
- `/robots.txt => 200`
|
|
- `/ => 200`
|
|
- 真实详情页 `200`
|
|
- 真实播放页 `200`
|
|
2. `www.lgyz.net`
|
|
- 真实详情页 `200`
|
|
3. `www.lcdchq.com`
|
|
- 真实详情页 `200`
|
|
4. `www.oronorent.com`
|
|
- 真实详情页 `200`
|
|
|
|
结论：
|
|
|
|
1. `sogou` 正在从旧的 `403` 状态切换到新规则生效后的 `200`
|
|
2. 当前处于恢复初期，旧日志权重仍然偏高
|
|
|
|
### 5.2 `bytespider`
|
|
|
|
当前判断：
|
|
|
|
1. 尚未明显进入 `managed spider` 映射链
|
|
2. 但当前复测的 `robots.txt` 已基本可通
|
|
3. 不是当前主矛盾
|
|
|
|
如果后续要主动加强字节系抓取，再考虑把 `bytespider` 纳入 managed spider 映射。
|
|
|
|
## 6. 后续执行建议
|
|
|
|
### 优先级 A
|
|
|
|
继续观察下一轮蜘蛛日志，重点看：
|
|
|
|
1. `sogou 200` 是否继续增加
|
|
2. `sogou 403` 是否自然下降
|
|
3. 是否开始出现更多 `detail / play / category` 的正向样本
|
|
|
|
### 优先级 B
|
|
|
|
如果某个站又在日志里报异常，排障顺序统一为：
|
|
|
|
1. 先确认是不是旧路径残留
|
|
2. 再确认当前真实路由
|
|
3. 再用真实 UA 线上复测
|
|
4. 最后才判断是否需要改 nginx 或后端
|
|
|
|
### 优先级 C
|
|
|
|
只有在明确要做字节系 SEO 时，才考虑：
|
|
|
|
1. 把 `bytespider` 纳入 managed spider 映射
|
|
2. 再观察其 `robots/home` 命中变化
|
|
|
|
## 7. 长文档入口
|
|
|
|
完整细节、样本、时间线、实测证据统一在：
|
|
|
|
- [1270-SEONexus-Codex多版本协作交接总文档.md](/www/wwwroot/diff-maccms/SEONexus/docs/1270-SEONexus-Codex多版本协作交接总文档.md)
|
|
|
|
建议后续接手顺序：
|
|
|
|
1. 先读本摘要
|
|
2. 再按需要跳转 `1270` 查看详细证据
|