docs(spider): record sogou managed spider finding

This commit is contained in:
root
2026-04-17 16:17:47 +08:00
parent a3d732b9ea
commit cab7d979af

View File

@@ -3933,6 +3933,31 @@ php code/scripts/seo_copy_front_verify.php chuanjiafeng.net category_list dian-y
4. 当前真正值得继续单独分析的新问题: 4. 当前真正值得继续单独分析的新问题:
- `sogou` 深页 `403` - `sogou` 深页 `403`
#### `sogou` 深页 `403` 的当前最可能根因
这轮继续核对前端 nginx 受管蜘蛛配置后,已经看到:
1. `managed_spiders.map.conf.example` 当前默认只有:
- `baiduspider 1;`
2. `受管蜘蛛映射-最优方案.txt` 里也明确写着:
- 当前先只放行百度
- 若后续要加 `bytespider / sogou`,只在受管蜘蛛映射里增加一行
因此目前更合理的判断是:
1. `baiduspider` 已被纳入 managed spider 放行链
2. `sogou` 目前默认未被纳入 managed spider 白名单
3. 所以 `sogou` 深页请求继续落到常规拦截链,表现为:
- `403`
- `cache_status = NONE`
这说明:
1. `sogou 403` 当前更像前端蜘蛛放行策略结果
2. 不是后端详情页 / 播放页内容链突然失效
3. 如果后续要继续提升搜狗覆盖面,应优先评估:
- 是否把 `sogou` 加入 `/www/server/panel/vhost/nginx/ua/managed_spiders.map.conf`
### 6. 对后续 Codex 的明确提醒 ### 6. 对后续 Codex 的明确提醒
后面如果再看到: 后面如果再看到: