150 lines
3.6 KiB
Markdown
150 lines
3.6 KiB
Markdown
# 当前线上运维执行清单
|
||
|
||
> 说明：这份文档保留作阶段执行稿。后续执行和观察，统一以 [当前线上最终Runbook.md](/www/wwwroot/getDomain/docs/当前线上最终Runbook.md) 为准。
|
||
|
||
最后更新：2026-04-25 17:30 左右
|
||
适用节点：`mainland-controller-01`
|
||
|
||
## 1. 当前目标
|
||
|
||
当前先不要继续乱调参数。
|
||
先确认这一套已经生效的配置，能不能稳定把结果持续跑出来。
|
||
|
||
现在最重要的不是：
|
||
|
||
- 再加线程
|
||
- 再改 claim
|
||
- 再改批量
|
||
- 再改超时
|
||
|
||
现在最重要的是：
|
||
|
||
1. `completed_total` 能不能持续增长
|
||
2. `aizhan_completed / wayback_completed` 能不能继续增长
|
||
3. `aizhan_failed / wayback_failed` 会不会重新抬头
|
||
|
||
## 2. 当前已经验证有效的方向
|
||
|
||
这一轮已经确认有效的不是单点，而是整套思路：
|
||
|
||
- 单机性能模式保留
|
||
- 任务已经能铺到更多 worker 上
|
||
- `爱站` 支持更快降级继续
|
||
- `wayback` 已经减少了额外的 `records_cdx` 压力
|
||
- 当前主链已经从“线程忙但不出结果”变成“线程忙，同时持续产出 completed”
|
||
|
||
## 3. 当前观察时先看什么
|
||
|
||
优先看这 6 组数：
|
||
|
||
1. `completed_total`
|
||
2. `aizhan_completed`
|
||
3. `wayback_completed`
|
||
4. `aizhan_failed`
|
||
5. `wayback_failed`
|
||
6. `running / claimed / pending`
|
||
|
||
判断顺序不要乱：
|
||
|
||
1. 先看 `completed_total` 有没有涨
|
||
2. 再看 `aizhan_completed / wayback_completed` 有没有涨
|
||
3. 最后才看 `failed` 和 `pending`
|
||
|
||
原因：
|
||
|
||
- `claimed / pending` 在 `domain_pipeline` 下会波动，不能单独看
|
||
- `completed` 才是最真实的产出
|
||
|
||
## 4. 当前正确的判断口径
|
||
|
||
### 说明一
|
||
|
||
如果看到：
|
||
|
||
- `running` 很高
|
||
- `claimed / pending` 在波动
|
||
- 但 `completed_total` 也在持续涨
|
||
|
||
这不是问题。
|
||
这说明当前机器正在持续消化任务。
|
||
|
||
### 说明二
|
||
|
||
如果看到：
|
||
|
||
- `aizhan_failed = 0`
|
||
- `wayback_failed = 0`
|
||
- `aizhan_completed / wayback_completed` 继续涨
|
||
|
||
这说明现在这套“外部依赖快速降级继续”是对的。
|
||
|
||
### 说明三
|
||
|
||
如果看到：
|
||
|
||
- `running` 很高
|
||
- 但 `completed_total` 长时间完全不涨
|
||
|
||
这才说明主链又卡住了，需要继续排。
|
||
|
||
## 5. 当前建议观察窗口
|
||
|
||
建议至少看 `30 ~ 60` 分钟，不要只看一两个瞬间。
|
||
|
||
推荐做法：
|
||
|
||
1. 先记一组起始值
|
||
2. 每隔 `10 ~ 15` 分钟看一次
|
||
3. 连看至少 `3 ~ 4` 个点
|
||
|
||
只看单点，很容易误判。
|
||
|
||
## 6. 什么情况说明继续观察就行
|
||
|
||
只要出现下面这种趋势，就先不要动参数：
|
||
|
||
- `completed_total` 持续增长
|
||
- `aizhan_completed` 持续增长
|
||
- `wayback_completed` 持续增长
|
||
- `aizhan_failed / wayback_failed` 维持低位或归零
|
||
|
||
这说明当前主链是通的，应该先稳住。
|
||
|
||
## 7. 什么情况才需要继续下刀
|
||
|
||
只有出现下面这些情况，才值得继续改：
|
||
|
||
### 情况一
|
||
|
||
`completed_total` 在 `30 ~ 60` 分钟窗口里基本不动
|
||
说明虽然线程在跑，但结果没有真正落地。
|
||
|
||
### 情况二
|
||
|
||
`aizhan_failed` 或 `wayback_failed` 又明显抬头
|
||
说明当前“快速降级继续”还不够稳。
|
||
|
||
### 情况三
|
||
|
||
`running` 长时间很高，但 `aizhan_completed / wayback_completed` 不再增长
|
||
说明新的主瓶颈又出现了。
|
||
|
||
## 8. 当前不要再碰的东西
|
||
|
||
在这轮观察结束前，先不要继续改：
|
||
|
||
- worker 进程数
|
||
- 每进程线程数
|
||
- claim 批量
|
||
- backlog 批量
|
||
- wayback 参数
|
||
- 爱站参数
|
||
|
||
原因很简单：
|
||
|
||
现在已经进到“开始稳定产出”的阶段，频繁动参数，只会把已验证有效的窗口打碎。
|
||
|
||
## 9. 当前一句话执行原则
|
||
|
||
**先稳住，先观察 completed 是否持续增长；只要结果还在持续出来，就先不要再乱改。**
|