docs(spider): add bytespider current phase assessment

This commit is contained in:
Your Name
2026-04-17 18:07:32 +08:00
parent aa406cc35c
commit 84f1d18526

View File

@@ -278,6 +278,67 @@
1. `sogou` 恢复已不是单窗偶发 1. `sogou` 恢复已不是单窗偶发
2. 而是已经出现连续窗口的真实 `200` 样本 2. 而是已经出现连续窗口的真实 `200` 样本
### 2.6 `bytespider` 当前阶段补充
继续下钻最近几个窗口并结合线上实时请求头后,`bytespider` 当前更准确的阶段判断如下:
#### 日志侧
当天聚合样本目前大致表现为:
1. 总请求:`78`
2. 状态分布:
- `444: 25`
- `403: 35`
- `301: 10`
- `200: 8`
3. 页面类型:
- `robots: 73`
- `home: 4`
- `other: 1`
最近窗口的可通样本主要是:
1. `2026-04-17T17:30:02+08:00`
- `www.lgyz.net /robots.txt => 200`
- `www.jpjdxs.com /robots.txt => 200`
- `www.oronorent.com /robots.txt => 200`
- `www.lgyz.net / => 200`
2. `2026-04-17T17:40:03+08:00`
- `www.codohealth.com /robots.txt => 200`
- `www.vikau.com /robots.txt => 200`
- `www.lmjcg.com /robots.txt => 200`
- `www.gz-yxsw.com /robots.txt => 200`
#### 线上实时请求头
补测结果:
1. `https://www.lgyz.net/`
- `200`
- `X-Cache-Status: STALE`
- `X-Managed-Spider: normal`
2. `https://www.lgyz.net/robots.txt`
- `200`
- `X-Cache-Status: HIT`
- `X-Managed-Spider: normal`
3. `https://www.jpjdxs.com/robots.txt`
- `200`
- `X-Cache-Status: HIT`
- `X-Managed-Spider: normal`
4. `https://www.oronorent.com/robots.txt`
- `200`
- `X-Cache-Status: HIT`
- `X-Managed-Spider: normal`
#### 当前判断
1. `bytespider` 不是完全不可通
2. 最近窗口里已经开始出现 `robots.txt` 与个别首页 `200`
3. 但当前仍明显以 `robots` 层为主
4. 且实时响应头里仍是 `X-Managed-Spider: normal`
5. 所以更像“部分可通、尚未进入受管蜘蛛深页恢复阶段”
## 3. 已验证通过的站点 ## 3. 已验证通过的站点
当前已人工复测通过的代表站点: 当前已人工复测通过的代表站点: