121 lines
3.9 KiB
Markdown
121 lines
3.9 KiB
Markdown
# 下一轮 Spider 追踪启动提示
|
||
|
||
这份提示用于在下一轮 spider 日志窗口出来后，快速把新的 Codex / 运维会话拉回正确轨道。
|
||
|
||
适用场景：
|
||
|
||
1. 当前这一轮先暂停
|
||
2. 等新 run / 新 summary 落地后再继续追踪
|
||
3. 希望下一个会话不要再重复走弯路
|
||
|
||
## 直接可复制提示词
|
||
|
||
```text
|
||
你现在接手的是 SEONexus 前端 nginx / 国内蜘蛛恢复追踪工作。
|
||
|
||
先不要重做历史分析，也不要先改代码。
|
||
|
||
请按下面顺序继续：
|
||
|
||
1. 先看 /www/wwwroot/diff-maccms/SEONexus/docs/2026-04-17-当前阶段总结.md
|
||
2. 再看 /www/wwwroot/diff-maccms/SEONexus/docs/2026-04-17-本轮交付清单.md
|
||
3. 再看 /www/wwwroot/diff-maccms/SEONexus/docs/2026-04-17-spider-nginx-运维摘要.md
|
||
|
||
当前已知规则：
|
||
|
||
- 前端正式模板优先使用：
|
||
/www/wwwroot/diff-maccms/前端站群服务器nginx配置/站点伪静态-最终发布版.txt
|
||
- 搜索页必须兼容：
|
||
/get-index
|
||
/get/index
|
||
- 搜索页 cache key 带 $args
|
||
- 详情 / 播放 / 分类 / 榜单按 path 缓存
|
||
- 所有动态页支持 ?__nocache=1
|
||
- 排障先看：
|
||
X-Cache-Status
|
||
X-Cache-Mode
|
||
X-Managed-Spider
|
||
|
||
当前已知阶段判断：
|
||
|
||
- sogou：已出现连续窗口真实 200 样本，不再是单窗偶发
|
||
- baiduspider：恢复成立，且已出现播放页 200 样本
|
||
- bytespider：目前仍主要停留在 robots / 首页层，还没有稳定深页样本
|
||
|
||
特别注意：
|
||
|
||
1. 不要再把 managed_spiders.map.conf.example 当成线上实时状态
|
||
2. 不要再只按旧字段 by_bot 读取 summary
|
||
3. 新结构优先看：
|
||
bot_buckets
|
||
summary_status_buckets
|
||
summary_records
|
||
4. latest 不能机械地当成国内蜘蛛当前总貌，必须结合最近几个 run 一起看
|
||
5. 如果看到 sogou 在某窗出现 /get-index?wd=test 这类 404，先判断是不是规则探测样本，不要立刻下结论说恢复回落
|
||
|
||
本轮你的任务不是重写文档，而是：
|
||
|
||
1. 先找最新 run
|
||
2. 看最近 2-4 个窗口里：
|
||
sogou / baiduspider / bytespider
|
||
各自的 bot_buckets、status、page_type、host、path 明细
|
||
3. 判断：
|
||
- sogou 连续恢复是否延续
|
||
- baiduspider 是否继续命中深页
|
||
- bytespider 是否开始出现详情 / 播放 / 分类 200
|
||
4. 如果有新结论，再增量更新摘要文档，不要重写已有结论
|
||
```
|
||
|
||
## 下一轮最值得优先回答的 3 个问题
|
||
|
||
1. `sogou` 连续恢复是否还在延续
|
||
2. `baiduspider` 是否继续命中详情页 / 播放页 / 分类页
|
||
3. `bytespider` 是否终于开始出现真实深页 `200`
|
||
|
||
## 下一轮最容易再踩的坑
|
||
|
||
### 1. 把规则探测样本误读成恢复回落
|
||
|
||
例如：
|
||
|
||
1. `/get-index?wd=test`
|
||
2. `/get/index?wd=test`
|
||
|
||
这类请求如果是人为探测出来的 `404`，优先按“规则验证样本”理解，不要先当成真实深页恢复失败。
|
||
|
||
### 2. 把样例文件当成线上状态
|
||
|
||
以下文件更偏样例 / 推荐结构：
|
||
|
||
1. `/www/wwwroot/diff-maccms/前端站群服务器nginx配置/managed_spiders.map.conf.example`
|
||
2. `/www/wwwroot/diff-maccms/前端站群服务器nginx配置/受管蜘蛛映射-最优方案.txt`
|
||
|
||
判断线上是否已纳入 managed spider，优先级仍然是：
|
||
|
||
1. `X-Managed-Spider`
|
||
2. 线上真实 `managed_spiders.map.conf`
|
||
3. 样例文件
|
||
|
||
### 3. 继续用旧字段读取 summary
|
||
|
||
如果看到：
|
||
|
||
1. `by_bot` 为空
|
||
2. `latest` 看起来像没样本
|
||
|
||
不要直接得出“今天没国内蜘蛛”。
|
||
|
||
先检查：
|
||
|
||
1. `bot_buckets`
|
||
2. `summary_status_buckets`
|
||
3. `summary_records`
|
||
|
||
## 当前最短入口
|
||
|
||
如果时间非常紧，只看这三份：
|
||
|
||
1. [/www/wwwroot/diff-maccms/SEONexus/docs/2026-04-17-当前阶段总结.md](/www/wwwroot/diff-maccms/SEONexus/docs/2026-04-17-当前阶段总结.md)
|
||
2. [/www/wwwroot/diff-maccms/SEONexus/docs/2026-04-17-本轮交付清单.md](/www/wwwroot/diff-maccms/SEONexus/docs/2026-04-17-本轮交付清单.md)
|
||
3. [/www/wwwroot/diff-maccms/SEONexus/docs/2026-04-17-spider-nginx-运维摘要.md](/www/wwwroot/diff-maccms/SEONexus/docs/2026-04-17-spider-nginx-运维摘要.md)
|