docs(spider): update sogou live verification notes

This commit is contained in:
root
2026-04-17 16:19:36 +08:00
parent cab7d979af
commit 178ec7ea6f

View File

@@ -3933,9 +3933,11 @@ php code/scripts/seo_copy_front_verify.php chuanjiafeng.net category_list dian-y
4. 当前真正值得继续单独分析的新问题: 4. 当前真正值得继续单独分析的新问题:
- `sogou` 深页 `403` - `sogou` 深页 `403`
#### `sogou` 深页 `403` 的当前最可能根因 #### `sogou` 深页 `403` 的阶段性判断与线上复核结果
这轮继续核对前端 nginx 受管蜘蛛配置后,已经看到 先记录上一阶段的判断依据
这轮继续核对前端 nginx 受管蜘蛛配置样例后,曾看到:
1. `managed_spiders.map.conf.example` 当前默认只有: 1. `managed_spiders.map.conf.example` 当前默认只有:
- `baiduspider 1;` - `baiduspider 1;`
@@ -3943,7 +3945,7 @@ php code/scripts/seo_copy_front_verify.php chuanjiafeng.net category_list dian-y
- 当前先只放行百度 - 当前先只放行百度
- 若后续要加 `bytespider / sogou`,只在受管蜘蛛映射里增加一行 - 若后续要加 `bytespider / sogou`,只在受管蜘蛛映射里增加一行
因此目前更合理的判断是: 因此当时更合理的判断是:
1. `baiduspider` 已被纳入 managed spider 放行链 1. `baiduspider` 已被纳入 managed spider 放行链
2. `sogou` 目前默认未被纳入 managed spider 白名单 2. `sogou` 目前默认未被纳入 managed spider 白名单
@@ -3951,13 +3953,53 @@ php code/scripts/seo_copy_front_verify.php chuanjiafeng.net category_list dian-y
- `403` - `403`
- `cache_status = NONE` - `cache_status = NONE`
这说明: 这说明上一阶段的 `sogou 403` 更像
1. `sogou 403` 当前更像前端蜘蛛放行策略结果 1. `sogou 403` 当前更像前端蜘蛛放行策略结果
2. 不是后端详情页 / 播放页内容链突然失效 2. 不是后端详情页 / 播放页内容链突然失效
3. 如果后续要继续提升搜狗覆盖面,应优先评估: 3. 如果后续要继续提升搜狗覆盖面,应优先评估:
- 是否把 `sogou` 加入 `/www/server/panel/vhost/nginx/ua/managed_spiders.map.conf` - 是否把 `sogou` 加入 `/www/server/panel/vhost/nginx/ua/managed_spiders.map.conf`
但在后续线上继续复测时,已经得到新的实时结果:
1. `https://www.jpjdxs.com/`
- `Baiduspider` 请求返回:
- `200`
- `X-Managed-Spider: managed`
- `Sogou` 请求返回:
- `200`
- `X-Managed-Spider: managed`
2. `https://www.jpjdxs.com/neirong-154229-xiang-feng-bu-shi-jiu-shi-ren`
- 普通访问:
- `200`
- `X-Managed-Spider: normal`
- `Sogou` 访问:
- `200`
- `X-Managed-Spider: managed`
3. `https://www.jpjdxs.com/bf-154229-xiang-feng-bu-shi-jiu-shi-ren/default-1`
- 普通访问:
- `200`
- `X-Managed-Spider: normal`
- `Sogou` 访问:
- `200`
- `X-Managed-Spider: managed`
所以截至这次线上复测,至少在 `jpjdxs.com` 当前实际生效的前端配置里:
1. `sogou` 已经被纳入 managed spider 放行链
2. `sogou` 并不是“现在还完全没放行”
3. earlier 日志里看到的 `sogou 403`,更可能属于:
- 前一轮旧日志样本
- 其他尚未切到最新版 nginx 规则的站点
- 或受管蜘蛛映射尚未同步到位的个别机器
因此后续判断要改成:
1. 不要再把“`sogou` 未纳入 managed map”当成全局定论
2. 必须按站点、按机器、按生效配置分别验证
3. 当前 `jpjdxs.com` 已可视为:
- `sogou` 首页、详情页、播放页均已放行
### 6. 对后续 Codex 的明确提醒 ### 6. 对后续 Codex 的明确提醒
后面如果再看到: 后面如果再看到: