fix: stabilize spider md github sync
This commit is contained in:
@@ -238,6 +238,70 @@
|
||||
3. 今天先不动 GPT 模板业务代码
|
||||
4. 如果明天 `googlebot / bingbot` 仍大面积只打 `robots/category` 且持续 `444`,再单独开一轮 `Nginx 蜘蛛放行策略` 优化
|
||||
|
||||
## 10. 今日新增工程修复说明
|
||||
|
||||
今天除了日志判断,还额外处理了 `Spider MD -> GitHub` 这条工程链路,避免后续误把“推送工具异常”当成 SEO 或模板代码异常。
|
||||
|
||||
### 已确认的问题
|
||||
|
||||
1. 前一轮 `GitHub:部分失败` 不等于“没有推上”
|
||||
2. 真实现象是:
|
||||
- `part-001.md ~ part-022.md` 已上传
|
||||
- 后续某次 GitHub 接口中途异常
|
||||
- 旧代码只留下了空报错:`GitHub 请求返回异常:`
|
||||
- 但 `summary.json / summary.html / github-links.json` 元数据又成功更新
|
||||
3. 所以前端会表现成:
|
||||
- GitHub 上已经有一批 md 文件
|
||||
- 后台状态却还是 `partial_failed`
|
||||
|
||||
### 已完成的修复
|
||||
|
||||
1. GitHub 请求层现在会明确记录:
|
||||
- `HTTP 状态码`
|
||||
- 空响应体
|
||||
- 原始异常信息
|
||||
2. 对 `429 / 500 / 502 / 503 / 504` 已增加自动重试
|
||||
3. GitHub 单次请求超时已从 `45s` 放宽到 `90s`
|
||||
4. `storage/spider_md_runs` 目录属主已修正为 `www:www`
|
||||
- 避免出现 `part-047.md: Permission denied` 这种“本地先失败,远端还没开始”的误判
|
||||
|
||||
### 最终实测结果
|
||||
|
||||
修复后再次重跑,成功 run:
|
||||
|
||||
- `run_id = 202353_spider_md_d28664`
|
||||
- `github_push_status = success`
|
||||
- `github_files_count = 50`
|
||||
|
||||
对应含义:
|
||||
|
||||
1. `part-001.md ~ part-047.md`
|
||||
2. `summary.json`
|
||||
3. `summary.html`
|
||||
4. `github-links.json`
|
||||
|
||||
已经全部完整推送成功。
|
||||
|
||||
### 对 SEO 判断的影响
|
||||
|
||||
这条修复属于:
|
||||
|
||||
- 工程稳定性修复
|
||||
- 运维链路修复
|
||||
- 后台日志可读性修复
|
||||
|
||||
不属于:
|
||||
|
||||
- GPT 模板业务层 SEO 结构调整
|
||||
- 影视页面内容策略变化
|
||||
- 蜘蛛放行策略变化
|
||||
|
||||
所以今天的 SEO 主判断不变:
|
||||
|
||||
1. GPT 模板仍以“继续观察蜘蛛回访”为主
|
||||
2. 今天不需要因为 Spider MD 这次异常去大改模板业务代码
|
||||
3. Spider MD 问题已经单独收口,不应再干扰明天蜘蛛日志判断
|
||||
|
||||
## 10. 一句话总结
|
||||
|
||||
今天的 GPT 模板 SEO 进度总体仍符合“修复后进入正向回访期”的预期,但还没有进入理想放量阶段;当前更该继续看日志和入口链路,而不是急着再改一轮模板业务代码。
|
||||
|
||||
Reference in New Issue
Block a user