docs: update domestic spider progress for 2026-04-20

2026-04-20 16:03:57 +08:00
parent 328946f1a5
commit 66a8086a17
2 changed files with 93 additions and 0 deletions
--- a/docs/2026-04-19-GPT模板蜘蛛日志复盘与代码判断.md
+++ b/docs/2026-04-19-GPT模板蜘蛛日志复盘与代码判断.md
@@ -258,6 +258,21 @@

 1. GitHub 请求层现在会明确记录：
   - `HTTP 状态码`
+
+## 11. 2026-04-20 主线补充说明
+
+这份 `2026-04-19` 复盘文档在今天继续使用时，需要额外补 1 条主线口径，避免误判：
+
+1. 当前 GPT 模板 7 天主线，先只看国内蜘蛛推进
+2. 暂不把 `googlebot / bingbot` 相关日志作为今天的优化动作依据
+3. 所以如果今天看到国外蜘蛛大量 `robots/category => 444`，先不要自动推导成“今天必须改放行策略”
+
+今天这轮更准确的落地结论是：
+
+1. GPT 模板线仍有正向推进
+2. 但推进主要来自少数国内正向样本站
+3. 今天依旧不建议继续大面积改 GPT 模板业务代码
+4. 国外蜘蛛相关信号，先从今天的行动项里排除
   - 空响应体
   - 原始异常信息
 2. 对 `429 / 500 / 502 / 503 / 504` 已增加自动重试