From db249204fbbda26fca00f52837da83fe29d75ced Mon Sep 17 00:00:00 2001 From: Your Name Date: Fri, 17 Apr 2026 17:55:52 +0800 Subject: [PATCH] docs(spider): note latest summary field format change --- docs/2026-04-17-spider-nginx-运维摘要.md | 47 ++++++++++++++++++++++++ 1 file changed, 47 insertions(+) diff --git a/docs/2026-04-17-spider-nginx-运维摘要.md b/docs/2026-04-17-spider-nginx-运维摘要.md index 65fe122..95899ac 100644 --- a/docs/2026-04-17-spider-nginx-运维摘要.md +++ b/docs/2026-04-17-spider-nginx-运维摘要.md @@ -123,6 +123,53 @@ 2. 没补兼容时,`/get/index` 仍会落回普通动态页规则 3. 所以正式模板同时兼容 `/get-index` 和 `/get/index` 是必要项,不是冗余项 +### 2.3 最新日志窗口读取口径补充 + +`domain-spider-crawl` 这批 summary 文件当前已经出现结构切换: + +1. 旧口径常看 `by_bot` +2. 新口径改成: + - `bot_buckets` + - `summary_status_buckets` + - `summary_records` + +因此后续如果直接按旧脚本读取 `by_bot`,很容易误判成: + +1. `latest` 没数据 +2. `baiduspider / sogou / bytespider` 当天都是 0 + +这不一定是真的“没有样本”,而可能只是读取字段错了。 + +#### 当前已确认的最近窗口 + +1. `2026-04-17T17:30:02+08:00` + - `googlebot: 34` + - `sogou: 10` + - `bytespider: 6` + - `bingbot: 4` + - `baiduspider: 1` + - 状态桶: + - `444: 38` + - `200: 14` + - `301: 1` + - `403: 1` + - `404: 1` +2. `2026-04-17T17:50:02+08:00` + - 这波窗口又明显偏向: + - `googlebot: 33` + - `bingbot: 1` + - `bytespider: 1` + - `baiduspider: 1` + - 状态桶: + - `444: 35` + - `200: 1` + +#### 当前结论 + +1. `latest` 仍然不能机械地当成“国内蜘蛛当前总貌” +2. 需要结合最近几个 run 一起看 +3. 读取 summary 时,优先按新结构字段解析,不要再只认 `by_bot` + ## 3. 已验证通过的站点 当前已人工复测通过的代表站点: