fix: stabilize spider md github sync

This commit is contained in:
www
2026-04-19 20:27:09 +08:00
parent fccd2bfe5b
commit d469c4b93d
3 changed files with 393 additions and 142 deletions

View File

@@ -238,6 +238,70 @@
3. 今天先不动 GPT 模板业务代码
4. 如果明天 `googlebot / bingbot` 仍大面积只打 `robots/category` 且持续 `444`,再单独开一轮 `Nginx 蜘蛛放行策略` 优化
## 10. 今日新增工程修复说明
今天除了日志判断,还额外处理了 `Spider MD -> GitHub` 这条工程链路,避免后续误把“推送工具异常”当成 SEO 或模板代码异常。
### 已确认的问题
1. 前一轮 `GitHub部分失败` 不等于“没有推上”
2. 真实现象是:
- `part-001.md ~ part-022.md` 已上传
- 后续某次 GitHub 接口中途异常
- 旧代码只留下了空报错:`GitHub 请求返回异常:`
-`summary.json / summary.html / github-links.json` 元数据又成功更新
3. 所以前端会表现成:
- GitHub 上已经有一批 md 文件
- 后台状态却还是 `partial_failed`
### 已完成的修复
1. GitHub 请求层现在会明确记录:
- `HTTP 状态码`
- 空响应体
- 原始异常信息
2.`429 / 500 / 502 / 503 / 504` 已增加自动重试
3. GitHub 单次请求超时已从 `45s` 放宽到 `90s`
4. `storage/spider_md_runs` 目录属主已修正为 `www:www`
- 避免出现 `part-047.md: Permission denied` 这种“本地先失败,远端还没开始”的误判
### 最终实测结果
修复后再次重跑,成功 run
- `run_id = 202353_spider_md_d28664`
- `github_push_status = success`
- `github_files_count = 50`
对应含义:
1. `part-001.md ~ part-047.md`
2. `summary.json`
3. `summary.html`
4. `github-links.json`
已经全部完整推送成功。
### 对 SEO 判断的影响
这条修复属于:
- 工程稳定性修复
- 运维链路修复
- 后台日志可读性修复
不属于:
- GPT 模板业务层 SEO 结构调整
- 影视页面内容策略变化
- 蜘蛛放行策略变化
所以今天的 SEO 主判断不变:
1. GPT 模板仍以“继续观察蜘蛛回访”为主
2. 今天不需要因为 Spider MD 这次异常去大改模板业务代码
3. Spider MD 问题已经单独收口,不应再干扰明天蜘蛛日志判断
## 10. 一句话总结
今天的 GPT 模板 SEO 进度总体仍符合“修复后进入正向回访期”的预期,但还没有进入理想放量阶段;当前更该继续看日志和入口链路,而不是急着再改一轮模板业务代码。