2.2 KiB
2.2 KiB
HANDOFF 2026-04-19 14:16 CST
本轮完成
- 已修复
detect_worker.py中“代理不足反向限制并发”的热路径:- 代理池不足时改为后台补货
- 不再因为
current_pool_size < thread_count/2而同步刷新、拖慢线程拉起
- 已对线程创建阶段的运行态 / worker_log 做节流:
- 不再每起一个线程就同步打一轮重日志
- 避免远端日志回传本身把并发拉低
- 已把上述修复部署到:
- overseas 当前 live 运行目录
/opt/domaincheck/domainCheck/detect_worker.py - repo 目录
/www/wwwroot/getDomain/domainCheck/detect_worker.py mainland-controller-01mainland-worker-01
- overseas 当前 live 运行目录
- 已补上“真实活跃检测线程计数”逻辑到代码文件中
当前结果
mainland-controller-01- 海外后台当前已能看到:
active_threads ~= 99~100max_threads = 100
- 结论:
- controller 的
100并发已经真实跑起来
- controller 的
- 海外后台当前已能看到:
mainland-worker-01- 已重新接到新批次:
source_record_id = 7679target_job_code = sync-overseas-7679
- 最新日志已出现:
开始执行域名检测任务开始检测,刷新代理池代理池刷新完成,共 23 个可用代理开始创建线程,当前批次域名数: 400,最大线程数: 50
- 本机进程线程量:
152
- 结论:
- worker 已重新进入真实执行
- 但 overseas 后台对
mainland-worker-01.active_threads/current_load的显示仍偏低
- 已重新接到新批次:
当前剩余问题
- 不是 controller 并发限制问题
- 当前唯一剩余的运行面收口点是:
mainland-worker-01的运行态上报 / 后台显示口径仍未完全对齐
- 同时仍需继续观察:
- Detect 页面主计数
pending/completed/running - 结果统计回推是否继续推进
- Detect 页面主计数
下一轮建议
只继续做这两件事:
- 追
mainland-worker-01的运行态采集链:- 为什么本机已进入新批次执行,但海外后台仍显示
active_threads = 2
- 为什么本机已进入新批次执行,但海外后台仍显示
- 继续核对 Detect 主计数与结果回推:
- 判断是统计延迟、投影延迟,还是任务结果尚未进入中央口径
不要做:
- 新页面
- 新模块
- 控制面增强
- 发布动作
- 新专题文档