feat: stabilize multi-region runtime sync and worker orchestration

This commit is contained in:
root
2026-04-27 15:48:12 +08:00
parent 7cbde2aa78
commit 215a364891
137 changed files with 31931 additions and 1943 deletions

View File

@@ -0,0 +1,149 @@
# 当前线上运维执行清单
> 说明:这份文档保留作阶段执行稿。后续执行和观察,统一以 [当前线上最终Runbook.md](/www/wwwroot/getDomain/docs/当前线上最终Runbook.md) 为准。
最后更新2026-04-25 17:30 左右
适用节点:`mainland-controller-01`
## 1. 当前目标
当前先不要继续乱调参数。
先确认这一套已经生效的配置,能不能稳定把结果持续跑出来。
现在最重要的不是:
- 再加线程
- 再改 claim
- 再改批量
- 再改超时
现在最重要的是:
1. `completed_total` 能不能持续增长
2. `aizhan_completed / wayback_completed` 能不能继续增长
3. `aizhan_failed / wayback_failed` 会不会重新抬头
## 2. 当前已经验证有效的方向
这一轮已经确认有效的不是单点,而是整套思路:
- 单机性能模式保留
- 任务已经能铺到更多 worker 上
- `爱站` 支持更快降级继续
- `wayback` 已经减少了额外的 `records_cdx` 压力
- 当前主链已经从“线程忙但不出结果”变成“线程忙,同时持续产出 completed”
## 3. 当前观察时先看什么
优先看这 6 组数:
1. `completed_total`
2. `aizhan_completed`
3. `wayback_completed`
4. `aizhan_failed`
5. `wayback_failed`
6. `running / claimed / pending`
判断顺序不要乱:
1. 先看 `completed_total` 有没有涨
2. 再看 `aizhan_completed / wayback_completed` 有没有涨
3. 最后才看 `failed``pending`
原因:
- `claimed / pending``domain_pipeline` 下会波动,不能单独看
- `completed` 才是最真实的产出
## 4. 当前正确的判断口径
### 说明一
如果看到:
- `running` 很高
- `claimed / pending` 在波动
-`completed_total` 也在持续涨
这不是问题。
这说明当前机器正在持续消化任务。
### 说明二
如果看到:
- `aizhan_failed = 0`
- `wayback_failed = 0`
- `aizhan_completed / wayback_completed` 继续涨
这说明现在这套“外部依赖快速降级继续”是对的。
### 说明三
如果看到:
- `running` 很高
-`completed_total` 长时间完全不涨
这才说明主链又卡住了,需要继续排。
## 5. 当前建议观察窗口
建议至少看 `30 ~ 60` 分钟,不要只看一两个瞬间。
推荐做法:
1. 先记一组起始值
2. 每隔 `10 ~ 15` 分钟看一次
3. 连看至少 `3 ~ 4` 个点
只看单点,很容易误判。
## 6. 什么情况说明继续观察就行
只要出现下面这种趋势,就先不要动参数:
- `completed_total` 持续增长
- `aizhan_completed` 持续增长
- `wayback_completed` 持续增长
- `aizhan_failed / wayback_failed` 维持低位或归零
这说明当前主链是通的,应该先稳住。
## 7. 什么情况才需要继续下刀
只有出现下面这些情况,才值得继续改:
### 情况一
`completed_total``30 ~ 60` 分钟窗口里基本不动
说明虽然线程在跑,但结果没有真正落地。
### 情况二
`aizhan_failed``wayback_failed` 又明显抬头
说明当前“快速降级继续”还不够稳。
### 情况三
`running` 长时间很高,但 `aizhan_completed / wayback_completed` 不再增长
说明新的主瓶颈又出现了。
## 8. 当前不要再碰的东西
在这轮观察结束前,先不要继续改:
- worker 进程数
- 每进程线程数
- claim 批量
- backlog 批量
- wayback 参数
- 爱站参数
原因很简单:
现在已经进到“开始稳定产出”的阶段,频繁动参数,只会把已验证有效的窗口打碎。
## 9. 当前一句话执行原则
**先稳住,先观察 completed 是否持续增长;只要结果还在持续出来,就先不要再乱改。**