diff --git a/docs/2026-04-17-spider-nginx-运维摘要.md b/docs/2026-04-17-spider-nginx-运维摘要.md index 1283be8..75816d2 100644 --- a/docs/2026-04-17-spider-nginx-运维摘要.md +++ b/docs/2026-04-17-spider-nginx-运维摘要.md @@ -278,6 +278,67 @@ 1. `sogou` 恢复已不是单窗偶发 2. 而是已经出现连续窗口的真实 `200` 样本 +### 2.6 `bytespider` 当前阶段补充 + +继续下钻最近几个窗口并结合线上实时请求头后,`bytespider` 当前更准确的阶段判断如下: + +#### 日志侧 + +当天聚合样本目前大致表现为: + +1. 总请求:`78` +2. 状态分布: + - `444: 25` + - `403: 35` + - `301: 10` + - `200: 8` +3. 页面类型: + - `robots: 73` + - `home: 4` + - `other: 1` + +最近窗口的可通样本主要是: + +1. `2026-04-17T17:30:02+08:00` + - `www.lgyz.net /robots.txt => 200` + - `www.jpjdxs.com /robots.txt => 200` + - `www.oronorent.com /robots.txt => 200` + - `www.lgyz.net / => 200` +2. `2026-04-17T17:40:03+08:00` + - `www.codohealth.com /robots.txt => 200` + - `www.vikau.com /robots.txt => 200` + - `www.lmjcg.com /robots.txt => 200` + - `www.gz-yxsw.com /robots.txt => 200` + +#### 线上实时请求头 + +补测结果: + +1. `https://www.lgyz.net/` + - `200` + - `X-Cache-Status: STALE` + - `X-Managed-Spider: normal` +2. `https://www.lgyz.net/robots.txt` + - `200` + - `X-Cache-Status: HIT` + - `X-Managed-Spider: normal` +3. `https://www.jpjdxs.com/robots.txt` + - `200` + - `X-Cache-Status: HIT` + - `X-Managed-Spider: normal` +4. `https://www.oronorent.com/robots.txt` + - `200` + - `X-Cache-Status: HIT` + - `X-Managed-Spider: normal` + +#### 当前判断 + +1. `bytespider` 不是完全不可通 +2. 最近窗口里已经开始出现 `robots.txt` 与个别首页 `200` +3. 但当前仍明显以 `robots` 层为主 +4. 且实时响应头里仍是 `X-Managed-Spider: normal` +5. 所以更像“部分可通、尚未进入受管蜘蛛深页恢复阶段” + ## 3. 已验证通过的站点 当前已人工复测通过的代表站点: