docs(spider): update sogou live verification notes
This commit is contained in:
@@ -3933,9 +3933,11 @@ php code/scripts/seo_copy_front_verify.php chuanjiafeng.net category_list dian-y
|
|||||||
4. 当前真正值得继续单独分析的新问题:
|
4. 当前真正值得继续单独分析的新问题:
|
||||||
- `sogou` 深页 `403`
|
- `sogou` 深页 `403`
|
||||||
|
|
||||||
#### `sogou` 深页 `403` 的当前最可能根因
|
#### `sogou` 深页 `403` 的阶段性判断与线上复核结果
|
||||||
|
|
||||||
这轮继续核对前端 nginx 受管蜘蛛配置后,已经看到:
|
先记录上一阶段的判断依据:
|
||||||
|
|
||||||
|
这轮继续核对前端 nginx 受管蜘蛛配置样例后,曾看到:
|
||||||
|
|
||||||
1. `managed_spiders.map.conf.example` 当前默认只有:
|
1. `managed_spiders.map.conf.example` 当前默认只有:
|
||||||
- `baiduspider 1;`
|
- `baiduspider 1;`
|
||||||
@@ -3943,7 +3945,7 @@ php code/scripts/seo_copy_front_verify.php chuanjiafeng.net category_list dian-y
|
|||||||
- 当前先只放行百度
|
- 当前先只放行百度
|
||||||
- 若后续要加 `bytespider / sogou`,只在受管蜘蛛映射里增加一行
|
- 若后续要加 `bytespider / sogou`,只在受管蜘蛛映射里增加一行
|
||||||
|
|
||||||
因此目前更合理的判断是:
|
因此当时更合理的判断是:
|
||||||
|
|
||||||
1. `baiduspider` 已被纳入 managed spider 放行链
|
1. `baiduspider` 已被纳入 managed spider 放行链
|
||||||
2. `sogou` 目前默认未被纳入 managed spider 白名单
|
2. `sogou` 目前默认未被纳入 managed spider 白名单
|
||||||
@@ -3951,13 +3953,53 @@ php code/scripts/seo_copy_front_verify.php chuanjiafeng.net category_list dian-y
|
|||||||
- `403`
|
- `403`
|
||||||
- `cache_status = NONE`
|
- `cache_status = NONE`
|
||||||
|
|
||||||
这说明:
|
这说明上一阶段的 `sogou 403` 更像:
|
||||||
|
|
||||||
1. `sogou 403` 当前更像前端蜘蛛放行策略结果
|
1. `sogou 403` 当前更像前端蜘蛛放行策略结果
|
||||||
2. 不是后端详情页 / 播放页内容链突然失效
|
2. 不是后端详情页 / 播放页内容链突然失效
|
||||||
3. 如果后续要继续提升搜狗覆盖面,应优先评估:
|
3. 如果后续要继续提升搜狗覆盖面,应优先评估:
|
||||||
- 是否把 `sogou` 加入 `/www/server/panel/vhost/nginx/ua/managed_spiders.map.conf`
|
- 是否把 `sogou` 加入 `/www/server/panel/vhost/nginx/ua/managed_spiders.map.conf`
|
||||||
|
|
||||||
|
但在后续线上继续复测时,已经得到新的实时结果:
|
||||||
|
|
||||||
|
1. `https://www.jpjdxs.com/`
|
||||||
|
- `Baiduspider` 请求返回:
|
||||||
|
- `200`
|
||||||
|
- `X-Managed-Spider: managed`
|
||||||
|
- `Sogou` 请求返回:
|
||||||
|
- `200`
|
||||||
|
- `X-Managed-Spider: managed`
|
||||||
|
2. `https://www.jpjdxs.com/neirong-154229-xiang-feng-bu-shi-jiu-shi-ren`
|
||||||
|
- 普通访问:
|
||||||
|
- `200`
|
||||||
|
- `X-Managed-Spider: normal`
|
||||||
|
- `Sogou` 访问:
|
||||||
|
- `200`
|
||||||
|
- `X-Managed-Spider: managed`
|
||||||
|
3. `https://www.jpjdxs.com/bf-154229-xiang-feng-bu-shi-jiu-shi-ren/default-1`
|
||||||
|
- 普通访问:
|
||||||
|
- `200`
|
||||||
|
- `X-Managed-Spider: normal`
|
||||||
|
- `Sogou` 访问:
|
||||||
|
- `200`
|
||||||
|
- `X-Managed-Spider: managed`
|
||||||
|
|
||||||
|
所以截至这次线上复测,至少在 `jpjdxs.com` 当前实际生效的前端配置里:
|
||||||
|
|
||||||
|
1. `sogou` 已经被纳入 managed spider 放行链
|
||||||
|
2. `sogou` 并不是“现在还完全没放行”
|
||||||
|
3. earlier 日志里看到的 `sogou 403`,更可能属于:
|
||||||
|
- 前一轮旧日志样本
|
||||||
|
- 其他尚未切到最新版 nginx 规则的站点
|
||||||
|
- 或受管蜘蛛映射尚未同步到位的个别机器
|
||||||
|
|
||||||
|
因此后续判断要改成:
|
||||||
|
|
||||||
|
1. 不要再把“`sogou` 未纳入 managed map”当成全局定论
|
||||||
|
2. 必须按站点、按机器、按生效配置分别验证
|
||||||
|
3. 当前 `jpjdxs.com` 已可视为:
|
||||||
|
- `sogou` 首页、详情页、播放页均已放行
|
||||||
|
|
||||||
### 6. 对后续 Codex 的明确提醒
|
### 6. 对后续 Codex 的明确提醒
|
||||||
|
|
||||||
后面如果再看到:
|
后面如果再看到:
|
||||||
|
|||||||
Reference in New Issue
Block a user