Files
getDomain/docs/当前线上运维执行清单.md

3.6 KiB
Raw Permalink Blame History

当前线上运维执行清单

说明:这份文档保留作阶段执行稿。后续执行和观察,统一以 当前线上最终Runbook.md 为准。

最后更新2026-04-25 17:30 左右
适用节点:mainland-controller-01

1. 当前目标

当前先不要继续乱调参数。
先确认这一套已经生效的配置,能不能稳定把结果持续跑出来。

现在最重要的不是:

  • 再加线程
  • 再改 claim
  • 再改批量
  • 再改超时

现在最重要的是:

  1. completed_total 能不能持续增长
  2. aizhan_completed / wayback_completed 能不能继续增长
  3. aizhan_failed / wayback_failed 会不会重新抬头

2. 当前已经验证有效的方向

这一轮已经确认有效的不是单点,而是整套思路:

  • 单机性能模式保留
  • 任务已经能铺到更多 worker 上
  • 爱站 支持更快降级继续
  • wayback 已经减少了额外的 records_cdx 压力
  • 当前主链已经从“线程忙但不出结果”变成“线程忙,同时持续产出 completed”

3. 当前观察时先看什么

优先看这 6 组数:

  1. completed_total
  2. aizhan_completed
  3. wayback_completed
  4. aizhan_failed
  5. wayback_failed
  6. running / claimed / pending

判断顺序不要乱:

  1. 先看 completed_total 有没有涨
  2. 再看 aizhan_completed / wayback_completed 有没有涨
  3. 最后才看 failedpending

原因:

  • claimed / pendingdomain_pipeline 下会波动,不能单独看
  • completed 才是最真实的产出

4. 当前正确的判断口径

说明一

如果看到:

  • running 很高
  • claimed / pending 在波动
  • completed_total 也在持续涨

这不是问题。
这说明当前机器正在持续消化任务。

说明二

如果看到:

  • aizhan_failed = 0
  • wayback_failed = 0
  • aizhan_completed / wayback_completed 继续涨

这说明现在这套“外部依赖快速降级继续”是对的。

说明三

如果看到:

  • running 很高
  • completed_total 长时间完全不涨

这才说明主链又卡住了,需要继续排。

5. 当前建议观察窗口

建议至少看 30 ~ 60 分钟,不要只看一两个瞬间。

推荐做法:

  1. 先记一组起始值
  2. 每隔 10 ~ 15 分钟看一次
  3. 连看至少 3 ~ 4 个点

只看单点,很容易误判。

6. 什么情况说明继续观察就行

只要出现下面这种趋势,就先不要动参数:

  • completed_total 持续增长
  • aizhan_completed 持续增长
  • wayback_completed 持续增长
  • aizhan_failed / wayback_failed 维持低位或归零

这说明当前主链是通的,应该先稳住。

7. 什么情况才需要继续下刀

只有出现下面这些情况,才值得继续改:

情况一

completed_total30 ~ 60 分钟窗口里基本不动
说明虽然线程在跑,但结果没有真正落地。

情况二

aizhan_failedwayback_failed 又明显抬头
说明当前“快速降级继续”还不够稳。

情况三

running 长时间很高,但 aizhan_completed / wayback_completed 不再增长
说明新的主瓶颈又出现了。

8. 当前不要再碰的东西

在这轮观察结束前,先不要继续改:

  • worker 进程数
  • 每进程线程数
  • claim 批量
  • backlog 批量
  • wayback 参数
  • 爱站参数

原因很简单:

现在已经进到“开始稳定产出”的阶段,频繁动参数,只会把已验证有效的窗口打碎。

9. 当前一句话执行原则

先稳住,先观察 completed 是否持续增长;只要结果还在持续出来,就先不要再乱改。