docs(spider): record sogou managed spider finding
This commit is contained in:
@@ -3933,6 +3933,31 @@ php code/scripts/seo_copy_front_verify.php chuanjiafeng.net category_list dian-y
|
||||
4. 当前真正值得继续单独分析的新问题:
|
||||
- `sogou` 深页 `403`
|
||||
|
||||
#### `sogou` 深页 `403` 的当前最可能根因
|
||||
|
||||
这轮继续核对前端 nginx 受管蜘蛛配置后,已经看到:
|
||||
|
||||
1. `managed_spiders.map.conf.example` 当前默认只有:
|
||||
- `baiduspider 1;`
|
||||
2. `受管蜘蛛映射-最优方案.txt` 里也明确写着:
|
||||
- 当前先只放行百度
|
||||
- 若后续要加 `bytespider / sogou`,只在受管蜘蛛映射里增加一行
|
||||
|
||||
因此目前更合理的判断是:
|
||||
|
||||
1. `baiduspider` 已被纳入 managed spider 放行链
|
||||
2. `sogou` 目前默认未被纳入 managed spider 白名单
|
||||
3. 所以 `sogou` 深页请求继续落到常规拦截链,表现为:
|
||||
- `403`
|
||||
- `cache_status = NONE`
|
||||
|
||||
这说明:
|
||||
|
||||
1. `sogou 403` 当前更像前端蜘蛛放行策略结果
|
||||
2. 不是后端详情页 / 播放页内容链突然失效
|
||||
3. 如果后续要继续提升搜狗覆盖面,应优先评估:
|
||||
- 是否把 `sogou` 加入 `/www/server/panel/vhost/nginx/ua/managed_spiders.map.conf`
|
||||
|
||||
### 6. 对后续 Codex 的明确提醒
|
||||
|
||||
后面如果再看到:
|
||||
|
||||
Reference in New Issue
Block a user