docs(spider): add bytespider current phase assessment
This commit is contained in:
@@ -278,6 +278,67 @@
|
|||||||
1. `sogou` 恢复已不是单窗偶发
|
1. `sogou` 恢复已不是单窗偶发
|
||||||
2. 而是已经出现连续窗口的真实 `200` 样本
|
2. 而是已经出现连续窗口的真实 `200` 样本
|
||||||
|
|
||||||
|
### 2.6 `bytespider` 当前阶段补充
|
||||||
|
|
||||||
|
继续下钻最近几个窗口并结合线上实时请求头后,`bytespider` 当前更准确的阶段判断如下:
|
||||||
|
|
||||||
|
#### 日志侧
|
||||||
|
|
||||||
|
当天聚合样本目前大致表现为:
|
||||||
|
|
||||||
|
1. 总请求:`78`
|
||||||
|
2. 状态分布:
|
||||||
|
- `444: 25`
|
||||||
|
- `403: 35`
|
||||||
|
- `301: 10`
|
||||||
|
- `200: 8`
|
||||||
|
3. 页面类型:
|
||||||
|
- `robots: 73`
|
||||||
|
- `home: 4`
|
||||||
|
- `other: 1`
|
||||||
|
|
||||||
|
最近窗口的可通样本主要是:
|
||||||
|
|
||||||
|
1. `2026-04-17T17:30:02+08:00`
|
||||||
|
- `www.lgyz.net /robots.txt => 200`
|
||||||
|
- `www.jpjdxs.com /robots.txt => 200`
|
||||||
|
- `www.oronorent.com /robots.txt => 200`
|
||||||
|
- `www.lgyz.net / => 200`
|
||||||
|
2. `2026-04-17T17:40:03+08:00`
|
||||||
|
- `www.codohealth.com /robots.txt => 200`
|
||||||
|
- `www.vikau.com /robots.txt => 200`
|
||||||
|
- `www.lmjcg.com /robots.txt => 200`
|
||||||
|
- `www.gz-yxsw.com /robots.txt => 200`
|
||||||
|
|
||||||
|
#### 线上实时请求头
|
||||||
|
|
||||||
|
补测结果:
|
||||||
|
|
||||||
|
1. `https://www.lgyz.net/`
|
||||||
|
- `200`
|
||||||
|
- `X-Cache-Status: STALE`
|
||||||
|
- `X-Managed-Spider: normal`
|
||||||
|
2. `https://www.lgyz.net/robots.txt`
|
||||||
|
- `200`
|
||||||
|
- `X-Cache-Status: HIT`
|
||||||
|
- `X-Managed-Spider: normal`
|
||||||
|
3. `https://www.jpjdxs.com/robots.txt`
|
||||||
|
- `200`
|
||||||
|
- `X-Cache-Status: HIT`
|
||||||
|
- `X-Managed-Spider: normal`
|
||||||
|
4. `https://www.oronorent.com/robots.txt`
|
||||||
|
- `200`
|
||||||
|
- `X-Cache-Status: HIT`
|
||||||
|
- `X-Managed-Spider: normal`
|
||||||
|
|
||||||
|
#### 当前判断
|
||||||
|
|
||||||
|
1. `bytespider` 不是完全不可通
|
||||||
|
2. 最近窗口里已经开始出现 `robots.txt` 与个别首页 `200`
|
||||||
|
3. 但当前仍明显以 `robots` 层为主
|
||||||
|
4. 且实时响应头里仍是 `X-Managed-Spider: normal`
|
||||||
|
5. 所以更像“部分可通、尚未进入受管蜘蛛深页恢复阶段”
|
||||||
|
|
||||||
## 3. 已验证通过的站点
|
## 3. 已验证通过的站点
|
||||||
|
|
||||||
当前已人工复测通过的代表站点:
|
当前已人工复测通过的代表站点:
|
||||||
|
|||||||
Reference in New Issue
Block a user