3.6 KiB
3.6 KiB
当前线上运维执行清单
说明:这份文档保留作阶段执行稿。后续执行和观察,统一以 当前线上最终Runbook.md 为准。
最后更新:2026-04-25 17:30 左右
适用节点:mainland-controller-01
1. 当前目标
当前先不要继续乱调参数。
先确认这一套已经生效的配置,能不能稳定把结果持续跑出来。
现在最重要的不是:
- 再加线程
- 再改 claim
- 再改批量
- 再改超时
现在最重要的是:
completed_total能不能持续增长aizhan_completed / wayback_completed能不能继续增长aizhan_failed / wayback_failed会不会重新抬头
2. 当前已经验证有效的方向
这一轮已经确认有效的不是单点,而是整套思路:
- 单机性能模式保留
- 任务已经能铺到更多 worker 上
爱站支持更快降级继续wayback已经减少了额外的records_cdx压力- 当前主链已经从“线程忙但不出结果”变成“线程忙,同时持续产出 completed”
3. 当前观察时先看什么
优先看这 6 组数:
completed_totalaizhan_completedwayback_completedaizhan_failedwayback_failedrunning / claimed / pending
判断顺序不要乱:
- 先看
completed_total有没有涨 - 再看
aizhan_completed / wayback_completed有没有涨 - 最后才看
failed和pending
原因:
claimed / pending在domain_pipeline下会波动,不能单独看completed才是最真实的产出
4. 当前正确的判断口径
说明一
如果看到:
running很高claimed / pending在波动- 但
completed_total也在持续涨
这不是问题。
这说明当前机器正在持续消化任务。
说明二
如果看到:
aizhan_failed = 0wayback_failed = 0aizhan_completed / wayback_completed继续涨
这说明现在这套“外部依赖快速降级继续”是对的。
说明三
如果看到:
running很高- 但
completed_total长时间完全不涨
这才说明主链又卡住了,需要继续排。
5. 当前建议观察窗口
建议至少看 30 ~ 60 分钟,不要只看一两个瞬间。
推荐做法:
- 先记一组起始值
- 每隔
10 ~ 15分钟看一次 - 连看至少
3 ~ 4个点
只看单点,很容易误判。
6. 什么情况说明继续观察就行
只要出现下面这种趋势,就先不要动参数:
completed_total持续增长aizhan_completed持续增长wayback_completed持续增长aizhan_failed / wayback_failed维持低位或归零
这说明当前主链是通的,应该先稳住。
7. 什么情况才需要继续下刀
只有出现下面这些情况,才值得继续改:
情况一
completed_total 在 30 ~ 60 分钟窗口里基本不动
说明虽然线程在跑,但结果没有真正落地。
情况二
aizhan_failed 或 wayback_failed 又明显抬头
说明当前“快速降级继续”还不够稳。
情况三
running 长时间很高,但 aizhan_completed / wayback_completed 不再增长
说明新的主瓶颈又出现了。
8. 当前不要再碰的东西
在这轮观察结束前,先不要继续改:
- worker 进程数
- 每进程线程数
- claim 批量
- backlog 批量
- wayback 参数
- 爱站参数
原因很简单:
现在已经进到“开始稳定产出”的阶段,频繁动参数,只会把已验证有效的窗口打碎。
9. 当前一句话执行原则
先稳住,先观察 completed 是否持续增长;只要结果还在持续出来,就先不要再乱改。