getDomain/docs/02_domainCheck_优化清单_待审核.md

domainCheck 优化清单（待审核）

这份清单用于你先做取舍，不是默认全部都要做。

当前实施状态

• 统计时间：2026-04-15
• 说明：以下状态基于当前代码、启动验证、数据库结构补齐和本地联调结果更新。
• 状态口径：
• 已完成：代码已落地，基础验证已通过
• 已完成，待复测：代码已落地，但还需要你结合真实业务样本再跑一轮人工回归
• 继续优化：已做一部分，但还没完全做到最终验收态
• 暂不做：按你的审核备注，本轮不纳入

最近回归

• 回归时间：2026-04-16
• 回归方式：脚本化构造测试域名，直接验证导入、筛选、导出、批量更新关键链路
• 已通过项：
• 备案筛选能区分“有备案记录 / 没有备案记录”
• 友链 > 10 筛选可真实命中
• 检测时间字段可正常读出
• TXT 导出可一行一个域名
• 分页导出底层查询链路可正常返回分页结果
• 批量更新选中域名在真实 Unicode 参数下可正常更新 review_status / has_beian / detect_time / website_url / backlink_count / domain_detections
• 仍需人工复测项：
• GUI 实际点击流程的导入与导出交互
• 检测端联动聚查、桔子补查
• 时光机全快照倒序扫描、标题判词、命中即停的真实网络耗时与命中效果

最新检测联调

• 联调时间：2026-04-16
• 联调范围：导入建任务、补查取数、单域名真实检测执行、单域名命中黑名单后中止
• 已验证结果：
• 导入 TXT 域名后可自动创建 detect_tasks
• 聚查、桔子二次补查取数正常，且已拉黑域名不会进入补查队列
• 单域名走“正常完成”路径时：
• detect_status 会更新为检测完成
• detect_time 会写入
• review_status 会更新为待人工复核
• 当满足条件时 expire_date 会被清空
• 单域名走“命中中止”路径时：
• detect_status 会更新为黑名单
• 黑名单原因会写入 domain_blacklist
• 时光机产生的 snapshot_years 可正常落库；当前按审核口径改为 title-only 检测后，backlink_count / backlink_count_gt_10 默认不再作为时光机产出字段
• 命中后不会写入 detect_time
• 当前风险：
• Wayback 对历史快照极多的域名，主要瓶颈已收敛到 CDX 时间戳列表获取；首次扫描超大域名仍可能受网络波动影响，但已补充 Redis 时间戳缓存，二次检测会明显更快

分级说明：

• P0 必须做：不做会影响验收、主流程闭环或结果正确性。
• P1 建议做：不一定阻塞首轮验收，但会明显影响实用性、稳定性或后续维护。
• P2 可选做：属于增强项、体验项、扩展项，可按预算和阶段决定。

---

一、P0 必须做

1. 检测任务落库闭环修复

• 当前状态：已完成，待复测

• 目的：保证域名入库后，待检测任务能正确创建、执行、回写结果。

• 当前问题：数据库代码里任务创建、任务清理、结果写入存在连接对象使用不一致的问题，主流程不稳定。

• 不做影响：检测流程可能根本不闭环，属于核心不通过项。

• 建议结论：必须做

2. 检测结果写库修复

• 当前状态：已完成，待复测

• 目的：让百度/360/Google/时光机/聚查等结果能稳定入库。

• 当前问题：部分结果写入逻辑依赖不稳定的数据库连接对象。

• 不做影响：界面查得到的结果不可信，后续筛选和导出都会失真。

• 建议结论：必须做

3. 状态码统一

• 当前状态：已完成

• 范围：

• 注册状态

• 检测状态

• 使用状态

• 复核状态

• UI 显示映射

• 检测器返回值

• 当前问题：需求文档、数据库、检测器、筛选页的状态定义不一致。

• 不做影响：筛选结果错误，黑名单/正常/可注册等状态可能串位。

• 建议结论：必须做

4. TXT 导出补齐

• 当前状态：已完成

• 目的：满足需求中的“导出 txt，一行一个域名”。

• 当前问题：当前只支持 Excel/CSV。

• 不做影响：需求明确不符合，验收容易直接打回。

• 建议结论：必须做 审核：这个其实不影响，或者你可以多加一个导出为txt 选项

5. 筛选条件真正落库生效

• 当前状态：已完成，待复测

• 重点项：

• 快照年份

• 备案年份

• 首页网址

• 友链数是否大于 10

• 是否有备案历史

• 部分状态筛选

• 当前问题：有些条件只有界面，没有真正进入 SQL 查询。

• 不做影响：运营筛选失真，界面“看起来有”但实际不可用。

• 建议结论：必须做

6. 敏感词全链路配置化

• 当前状态：已完成，待复测

• 目的：让敏感词配置窗口真正决定检测规则。

• 当前问题：主流程里仍有写死词表。

• 不做影响：虽然有敏感词页面，但配置不能完全生效，需求不满足。

• 建议结论：必须做 审核：必须要读取软件出口提交的 敏感词

7. 停止规则补齐

• 当前状态：继续优化

• 需求核心：

• 黑名单命中后停止后续检测

• 已使用/已卖出/已预定不进运营池

• 非可注册且非一口价不进入可注册池

• 当前问题：只实现了部分拉黑中止，完整规则未闭环。

• 不做影响：浪费检测资源，筛选池不准确。

• 建议结论：必须做

++ 8. 聚查、桔子增加独立检测状态

• 当前状态：已完成，待复测

• 优先级：P0 必须做

• 目的：为聚查、桔子增加“未检测 / 已检测”状态，用于支持增量补查。

• 人工验收反馈：

• 第一次检测时如果未勾选聚查、桔子，则只按当前检测选项执行

• 第二次检测时如果勾选了聚查、桔子，则数据库中尚未检测过聚查、桔子的域名需要补查一次

• 若选中的流程全部执行完且未命中黑名单，则总状态应更新为“检测完成”

• 不做影响：二次检测无法按需补查，检测状态判断不准确。

++ 9. 检测选项配置与实际检测流程需一致

• 当前状态：已完成，待复测

• 优先级：P0 必须做

• 人工验收反馈：

• 目前仅希望配置以下检测项：

• 检查注册

• 站长之家查询

• 爱站网查询

• 百度 site 查询

• 360 的 site 查询

• 域名检测端运行十多个小时仍在跑，用户无法理解实际执行范围

• 优化要求：

• 系统设置中的检测选项必须与实际检测流程一致

• 未勾选的检测项不得执行

• 需要有明确的执行状态反馈

++ 10. 域名筛选结果需显示检测时间

• 当前状态：已完成

• 优先级：P0 必须做

• 人工验收反馈：

• 条件“注册状态=可注册、使用状态=未使用、检测状态=检测完成”查询后，没有显示检测时间

• 用户定义：检测时间 = 检测完成时间

• 不做影响：运营无法判断结果数据的新旧。

++ 11. 域名筛选导出需支持导出多页或全部

• 当前状态：已完成

• 优先级：P0 必须做

• 人工验收反馈：

• 当前默认一页 100 条，需增加“导出几页”或“导出全部”的功能

• 不做影响：运营无法批量导出完整结果。

++ 12. “是否有备案”筛选需真实生效

• 当前状态：已完成，待复测

• 优先级：P0 必须做

• 人工验收反馈：

• 域名筛选中是否勾选“是否有备案”，出现的域名结果都一样

• 不做影响：筛选结果不可信，需求不满足。

++ 13. 批量更新选中域名功能需修复

• 当前状态：已完成，待复测

• 优先级：P0 必须做

• 人工验收反馈：

• 已选中域名后执行“批量更新选中域名”，提示“成功更新0个域名的信息”

• 不做影响：运营批量操作不可用。

++ 14. 检测选项配置中需补充时光机检测开关

• 当前状态：已完成

• 优先级：P0 必须做

• 人工验收反馈：

• 系统设置中的检测选项没有“时光机检测”，但检测流程第二步就是时光机

• 不做影响：配置项与实际业务流程不一致，无法控制时光机是否执行。

---

二、P1 建议做

8. 时光机检测按审核口径升级为“全快照倒序扫描标题，命中即停”

• 当前状态：已完成，待复测

• 当前状态：已使用 Wayback/CDX API 获取全量快照时间戳。

• 当前实现：

• 按时间倒序扫描全部快照

• 仅抓取每个快照的 title，不再抓取正文

• 按 title 去重

• 先快速检查最新快照，命中后不再继续拉全量快照列表

• 同时使用 CDX 返回的 digest 先做一轮内容级去重，减少无效 title 请求

• 任一快照标题命中敏感词后立即停止后续扫描

• 已增加 Redis 持久缓存：标题缓存 + 时间戳列表缓存

• 剩余风险：首次扫描历史快照极多的老域名时，CDX 时间戳列表获取仍可能偏慢。

• 建议结论：已完成，继续复测性能

• 审核备注：必须全部快照检查，不能随机；只要一个快照标题命中敏感词，则判定黑名单并停止后续扫描

9. 友链数量自动落库和自动筛选联动

• 当前状态：继续优化

• 当前状态：筛选链路已支持 友链 > 10，但按当前审核口径改为 title-only 时光机检测后，不再从时光机正文自动计算友链数量。

• 建议价值：如后续仍需自动产出友链数量，需要单独补一条正文抓取或其他来源统计链路。

• 是否阻塞首轮验收：看是否把友链自动检测作为必验项

• 建议结论：按你的复测结果决定是否继续做

10. 人工筛选规则脚本化补齐

• 当前状态：继续优化

• 范围：

• 站长之家标题/分类规则

• 爱站风险词规则

• 百度/360 子域名规则

• 聚查备案年份/单位性质/首页一致性/拦截规则

• 桔子 SEO 历史词、中文标题、外链锚文本规则

• 当前状态：有平台检测器，但规则覆盖不完整。

• 建议价值：这是把“人工流程”转成“机器流程”的关键。

• 是否阻塞首轮验收：看甲方是否按文档逐条验。

• 建议结论：建议做

11. 检测端稳定性优化

• 当前状态：已完成一轮基础优化，待长时复测

• 内容：

• 连接池配置化

• 并发线程数控制

• 失败重试逻辑梳理

• 任务队列模型修正

• 当前状态：已把默认连接池降小，但整体并发/连接模型仍偏脆弱。

• 建议价值：适合进入持续检测前做。

• 是否阻塞首轮验收：通常不阻塞

• 建议结论：建议做

12. 配置写入频率优化

• 当前状态：已完成

• 当前问题：系统设置页初始化过程中会多次重复写本地文件/Redis。

• 建议价值：降低噪音日志和无谓写入。

• 是否阻塞首轮验收：不阻塞

• 建议结论：建议做

13. 明文密码存储整改

• 当前状态：已完成

• 当前问题：本地文件中存在明文账号密码存储。

• 建议价值：安全性和交付规范更好。

• 是否阻塞首轮验收：多数情况下不阻塞功能验收，但属于明显风险。

• 建议结论：建议做

---

三、P2 可选做

14. 搜索引擎采集补齐

• 当前状态：暂不做

• 内容：根据关键词从搜索引擎持续采集域名入库。

• 当前状态：有占位入口，未真正实现。

• 价值：有利于做“全网增量建设”。

• 是否必须：如果当前先验一口价+删除列表+手工导入，不一定必须。

• 建议结论：可选做 审核：这个可以暂时不做

15. 企业目录采集补齐

• 当前状态：暂不做

• 内容：抓取企业目录网站的公司域名。

• 当前状态：有占位入口，未实现。

• 价值：增强全网增量来源。

• 是否必须：首轮不一定必须。

• 建议结论：可选做 审核：这个可以暂时不做

16. Zone File 采集补齐

• 当前状态：暂不做

• 当前状态：有占位入口，未实现。

• 价值：适合后期扩充大库。

• 是否必须：当前阶段通常不是必须。

• 建议结论：可选做 审核：这个可以暂时不做

17. 第三方 API/数据包接入

• 当前状态：继续优化

• 当前状态：需求有提及，但项目未形成稳定接入方案。

• 价值：提升数据来源多样性。

• 是否必须：不是首轮必做。

• 建议结论：可选做 审核：这个可以暂时不做

18. Redis Bloom 模块支持

• 当前状态：继续优化

• 当前状态：Redis 已通，但未安装 RedisBloom，当前已退回普通缓存。

• 价值：对海量去重更有帮助。

• 是否必须：首轮本地联调不必须。

• 建议结论：可选做

19. 亿级数据量数据库专项优化

• 当前状态：暂不做

• 内容：

• 更细索引策略

• 分区或分表设计

• 任务批次管理

• 大批量导入方案

• 价值：面向大规模生产阶段。

• 是否必须：当前桌面版联调阶段不是必须。

• 建议结论：可选做 审核：这个可以暂时不做

20. UI 体验类优化

• 当前状态：继续优化

• 内容：

• 更清晰的状态说明

• 批量操作反馈优化

• 查询条件联动提示

• 导出成功/失败结果更明确

• 是否必须：非核心

• 建议结论：可选做

---

四、建议你审核时优先决定的项

这几项建议你先拍板，因为会直接决定我后面怎么开工：

• 是否把 TXT 导出 作为首轮必须项
• 是否把 时光机按年份抽样 作为首轮必须项
• 是否把 人工筛选规则脚本化 作为首轮必须项
• 是否把 搜索引擎/企业目录/Zone file 采集 放到二期
• 是否需要同步处理 明文密码存储

---

五、我建议的默认实施范围

如果你不想一次做太大，我建议默认先做下面这些：

默认先做

• 检测任务落库闭环修复
• 检测结果写库修复
• 状态码统一
• TXT 导出
• 筛选条件真正生效
• 敏感词全链路配置化
• 停止规则补齐

默认后做

• 时光机按年份抽样
• 人工筛选规则脚本化补齐
• 安全整改
• 稳定性与架构优化

默认不纳入首轮

• 搜索引擎采集
• 企业目录采集
• Zone file 采集
• 第三方 API/数据包扩展
• Redis Bloom
• 亿级数据量专项优化

审核总结：

一、P0 必须做 必须做

二、P1 建议做 必须做

三、P2 可选做 根据我审核备注来做，没审核的做

当前执行结论：

• P0：已基本落地，建议你按“导入 -> 检测 -> 筛选 -> 导出 -> 批量更新”做一轮人工复测
• P1：已完成大部分主干优化，剩余重点在“停止规则细化”和“人工筛选规则脚本化”
• P2：已按你的备注暂缓未审核项，不影响当前主线联调