getDomain/docs/ops_center_runtime/HANDOFF_20260419_2053.md

HANDOFF_20260419_2053

更新时间：2026-04-19 20:53 CST

本轮完成

• 修复发布打包遗漏：
  • 最新发布包现在已包含 domainCheck/
  • 最新正式签收包：
    • domaincheck_release_20260419_205437
• 修复发布任务观测性：
  • domain-api/app/services/ops_release_executor_core.py
    • 发布目录不可写时显式失败
    • 增加 ExecStart 与 current 软链对齐观测
  • domain-api/app/node_agent.py
    • 增加 job 级兜底异常回写，避免任务假性卡死
• 将卡死的 worker 发布任务纠正为真实失败：
  • release_id = 6
  • rollout_id = 5
  • job_id = 204
  • 当前已从假 running 回正为 failed
  • 本次失败对应的 Release 版本：
    • domaincheck_release_20260419_203933

今晚新增关键结论

1. worker 发布失败的真实原因已明确

• mainland-worker-01
  • node-agent 日志：
    • 2026-04-19 20:40:15 [node-agent] loop error: [Errno 13] Permission denied: '/opt/domaincheck/downloads'
• 对应发布任务：
  • job 204 = failed
  • rollout 5 = failed
• 当前失败原因已经正式回写：
  • install_root not writable: /opt/domaincheck/downloads

2. mainland 两台节点都不符合当前 ReleaseHub 发布模型

• mainland-worker-01
  • domaincheck-worker 当前启动路径：
    • /opt/domaincheck/domainCheck/detect_worker.py
• mainland-controller-01
  • domaincheck-worker 当前启动路径：
    • /opt/domaincheck/domainCheck/detect_worker.py

这意味着：

• 当前线上服务不是跑在
  • /opt/domaincheck/current/domainCheck/...
• 所以即使发布成功切了 current 软链
• 也不会自动让现有 systemd 服务切到新版本

3. worker 当前不是新版本高吞吐样本

• mainland-worker-01
  • Active since = 2026-04-19 18:18:50 CST
  • Main PID = 635924
  • CPU = 18.994s
  • 最近日志仍停留在旧代码行号：
    • _run_detect_register:2465
    • detect_domain:2947
    • start_redis_subscription:3590

说明：

• worker 仍是旧进程
• 当前不能把它当成“已切新包并真实参与高吞吐”的有效证据

结论

当前唯一主阻塞不是前端、不是统计口径、也不是单纯并发参数。

当前唯一主阻塞是：

• mainland 节点 deploy.release 目录权限不满足
• mainland 节点 domaincheck-worker 的 systemd ExecStart 与 ReleaseHub 的 current 发布模型不一致

在这两个问题修正前：

• 不建议继续对 mainland 节点做正式 rollout
• 不建议继续把 worker 统计口径偏差当成纯展示层问题

下一步唯一建议

1. 先修 mainland 节点发布基座
   • 让 node-agent 对 /opt/domaincheck/downloads、/opt/domaincheck/releases 有写权限
   • 或明确改成一个 node-agent 真正可写的发布根目录
2. 再统一 domaincheck-worker.service
   • 让 ExecStart 指向 /opt/domaincheck/current/domainCheck/detect_worker.py
   • 不再直指 /opt/domaincheck/domainCheck/detect_worker.py
3. 完成后重新发起：
   • worker rollout
   • 验证 PID 切换
   • 验证代码行号切换到当前版本
   • 再看吞吐和 CPU 利用率

本轮改动文件

• package_domain_release.sh
• verify_domain_release.sh
• package_domain_release.ps1
• verify_domain_release.ps1
• domain-api/app/services/ops_release_executor_core.py
• domain-api/app/node_agent.py
• docs/ops_center_runtime/TASK_BOARD.md
• docs/ops_center_runtime/IMPLEMENTATION_STATUS.md