feat: stabilize multi-region runtime sync and worker orchestration
This commit is contained in:
149
docs/当前线上运维执行清单.md
Normal file
149
docs/当前线上运维执行清单.md
Normal file
@@ -0,0 +1,149 @@
|
||||
# 当前线上运维执行清单
|
||||
|
||||
> 说明:这份文档保留作阶段执行稿。后续执行和观察,统一以 [当前线上最终Runbook.md](/www/wwwroot/getDomain/docs/当前线上最终Runbook.md) 为准。
|
||||
|
||||
最后更新:2026-04-25 17:30 左右
|
||||
适用节点:`mainland-controller-01`
|
||||
|
||||
## 1. 当前目标
|
||||
|
||||
当前先不要继续乱调参数。
|
||||
先确认这一套已经生效的配置,能不能稳定把结果持续跑出来。
|
||||
|
||||
现在最重要的不是:
|
||||
|
||||
- 再加线程
|
||||
- 再改 claim
|
||||
- 再改批量
|
||||
- 再改超时
|
||||
|
||||
现在最重要的是:
|
||||
|
||||
1. `completed_total` 能不能持续增长
|
||||
2. `aizhan_completed / wayback_completed` 能不能继续增长
|
||||
3. `aizhan_failed / wayback_failed` 会不会重新抬头
|
||||
|
||||
## 2. 当前已经验证有效的方向
|
||||
|
||||
这一轮已经确认有效的不是单点,而是整套思路:
|
||||
|
||||
- 单机性能模式保留
|
||||
- 任务已经能铺到更多 worker 上
|
||||
- `爱站` 支持更快降级继续
|
||||
- `wayback` 已经减少了额外的 `records_cdx` 压力
|
||||
- 当前主链已经从“线程忙但不出结果”变成“线程忙,同时持续产出 completed”
|
||||
|
||||
## 3. 当前观察时先看什么
|
||||
|
||||
优先看这 6 组数:
|
||||
|
||||
1. `completed_total`
|
||||
2. `aizhan_completed`
|
||||
3. `wayback_completed`
|
||||
4. `aizhan_failed`
|
||||
5. `wayback_failed`
|
||||
6. `running / claimed / pending`
|
||||
|
||||
判断顺序不要乱:
|
||||
|
||||
1. 先看 `completed_total` 有没有涨
|
||||
2. 再看 `aizhan_completed / wayback_completed` 有没有涨
|
||||
3. 最后才看 `failed` 和 `pending`
|
||||
|
||||
原因:
|
||||
|
||||
- `claimed / pending` 在 `domain_pipeline` 下会波动,不能单独看
|
||||
- `completed` 才是最真实的产出
|
||||
|
||||
## 4. 当前正确的判断口径
|
||||
|
||||
### 说明一
|
||||
|
||||
如果看到:
|
||||
|
||||
- `running` 很高
|
||||
- `claimed / pending` 在波动
|
||||
- 但 `completed_total` 也在持续涨
|
||||
|
||||
这不是问题。
|
||||
这说明当前机器正在持续消化任务。
|
||||
|
||||
### 说明二
|
||||
|
||||
如果看到:
|
||||
|
||||
- `aizhan_failed = 0`
|
||||
- `wayback_failed = 0`
|
||||
- `aizhan_completed / wayback_completed` 继续涨
|
||||
|
||||
这说明现在这套“外部依赖快速降级继续”是对的。
|
||||
|
||||
### 说明三
|
||||
|
||||
如果看到:
|
||||
|
||||
- `running` 很高
|
||||
- 但 `completed_total` 长时间完全不涨
|
||||
|
||||
这才说明主链又卡住了,需要继续排。
|
||||
|
||||
## 5. 当前建议观察窗口
|
||||
|
||||
建议至少看 `30 ~ 60` 分钟,不要只看一两个瞬间。
|
||||
|
||||
推荐做法:
|
||||
|
||||
1. 先记一组起始值
|
||||
2. 每隔 `10 ~ 15` 分钟看一次
|
||||
3. 连看至少 `3 ~ 4` 个点
|
||||
|
||||
只看单点,很容易误判。
|
||||
|
||||
## 6. 什么情况说明继续观察就行
|
||||
|
||||
只要出现下面这种趋势,就先不要动参数:
|
||||
|
||||
- `completed_total` 持续增长
|
||||
- `aizhan_completed` 持续增长
|
||||
- `wayback_completed` 持续增长
|
||||
- `aizhan_failed / wayback_failed` 维持低位或归零
|
||||
|
||||
这说明当前主链是通的,应该先稳住。
|
||||
|
||||
## 7. 什么情况才需要继续下刀
|
||||
|
||||
只有出现下面这些情况,才值得继续改:
|
||||
|
||||
### 情况一
|
||||
|
||||
`completed_total` 在 `30 ~ 60` 分钟窗口里基本不动
|
||||
说明虽然线程在跑,但结果没有真正落地。
|
||||
|
||||
### 情况二
|
||||
|
||||
`aizhan_failed` 或 `wayback_failed` 又明显抬头
|
||||
说明当前“快速降级继续”还不够稳。
|
||||
|
||||
### 情况三
|
||||
|
||||
`running` 长时间很高,但 `aizhan_completed / wayback_completed` 不再增长
|
||||
说明新的主瓶颈又出现了。
|
||||
|
||||
## 8. 当前不要再碰的东西
|
||||
|
||||
在这轮观察结束前,先不要继续改:
|
||||
|
||||
- worker 进程数
|
||||
- 每进程线程数
|
||||
- claim 批量
|
||||
- backlog 批量
|
||||
- wayback 参数
|
||||
- 爱站参数
|
||||
|
||||
原因很简单:
|
||||
|
||||
现在已经进到“开始稳定产出”的阶段,频繁动参数,只会把已验证有效的窗口打碎。
|
||||
|
||||
## 9. 当前一句话执行原则
|
||||
|
||||
**先稳住,先观察 completed 是否持续增长;只要结果还在持续出来,就先不要再乱改。**
|
||||
Reference in New Issue
Block a user