dev
This commit is contained in:
Your Name
426
docs/02_domainCheck_优化清单_待审核.md
Normal file
426
docs/02_domainCheck_优化清单_待审核.md
Normal file
@@ -0,0 +1,426 @@
|
||||
# domainCheck 优化清单（待审核）
|
||||
|
||||
这份清单用于你先做取舍，不是默认全部都要做。
|
||||
|
||||
## 当前实施状态
|
||||
|
||||
- `统计时间`：2026-04-15
|
||||
- `说明`：以下状态基于当前代码、启动验证、数据库结构补齐和本地联调结果更新。
|
||||
- `状态口径`：
|
||||
- `已完成`：代码已落地，基础验证已通过
|
||||
- `已完成，待复测`：代码已落地，但还需要你结合真实业务样本再跑一轮人工回归
|
||||
- `继续优化`：已做一部分，但还没完全做到最终验收态
|
||||
- `暂不做`：按你的审核备注，本轮不纳入
|
||||
|
||||
## 最近回归
|
||||
|
||||
- `回归时间`：2026-04-16
|
||||
- `回归方式`：脚本化构造测试域名，直接验证导入、筛选、导出、批量更新关键链路
|
||||
- `已通过项`：
|
||||
- 备案筛选能区分“有备案记录 / 没有备案记录”
|
||||
- `友链 > 10` 筛选可真实命中
|
||||
- 检测时间字段可正常读出
|
||||
- TXT 导出可一行一个域名
|
||||
- 分页导出底层查询链路可正常返回分页结果
|
||||
- 批量更新选中域名在真实 Unicode 参数下可正常更新 `review_status / has_beian / detect_time / website_url / backlink_count / domain_detections`
|
||||
- `仍需人工复测项`：
|
||||
- GUI 实际点击流程的导入与导出交互
|
||||
- 检测端联动聚查、桔子补查
|
||||
- 时光机全快照倒序扫描、标题判词、命中即停的真实网络耗时与命中效果
|
||||
|
||||
## 最新检测联调
|
||||
|
||||
- `联调时间`：2026-04-16
|
||||
- `联调范围`：导入建任务、补查取数、单域名真实检测执行、单域名命中黑名单后中止
|
||||
- `已验证结果`：
|
||||
- 导入 TXT 域名后可自动创建 `detect_tasks`
|
||||
- 聚查、桔子二次补查取数正常，且已拉黑域名不会进入补查队列
|
||||
- 单域名走“正常完成”路径时：
|
||||
- `detect_status` 会更新为检测完成
|
||||
- `detect_time` 会写入
|
||||
- `review_status` 会更新为待人工复核
|
||||
- 当满足条件时 `expire_date` 会被清空
|
||||
- 单域名走“命中中止”路径时：
|
||||
- `detect_status` 会更新为黑名单
|
||||
- 黑名单原因会写入 `domain_blacklist`
|
||||
- 时光机产生的 `snapshot_years` 可正常落库；当前按审核口径改为 title-only 检测后，`backlink_count / backlink_count_gt_10` 默认不再作为时光机产出字段
|
||||
- 命中后不会写入 `detect_time`
|
||||
- `当前风险`：
|
||||
- Wayback 对历史快照极多的域名，主要瓶颈已收敛到 CDX 时间戳列表获取；首次扫描超大域名仍可能受网络波动影响，但已补充 Redis 时间戳缓存，二次检测会明显更快
|
||||
|
||||
分级说明：
|
||||
- `P0 必须做`：不做会影响验收、主流程闭环或结果正确性。
|
||||
- `P1 建议做`：不一定阻塞首轮验收，但会明显影响实用性、稳定性或后续维护。
|
||||
- `P2 可选做`：属于增强项、体验项、扩展项，可按预算和阶段决定。
|
||||
|
||||
---
|
||||
|
||||
## 一、P0 必须做
|
||||
|
||||
### 1. 检测任务落库闭环修复
|
||||
|
||||
- `当前状态`：`已完成，待复测`
|
||||
|
||||
- `目的`：保证域名入库后，待检测任务能正确创建、执行、回写结果。
|
||||
- `当前问题`：数据库代码里任务创建、任务清理、结果写入存在连接对象使用不一致的问题，主流程不稳定。
|
||||
- `不做影响`：检测流程可能根本不闭环，属于核心不通过项。
|
||||
- `建议结论`：`必须做`
|
||||
|
||||
### 2. 检测结果写库修复
|
||||
|
||||
- `当前状态`：`已完成，待复测`
|
||||
|
||||
- `目的`：让百度/360/Google/时光机/聚查等结果能稳定入库。
|
||||
- `当前问题`：部分结果写入逻辑依赖不稳定的数据库连接对象。
|
||||
- `不做影响`：界面查得到的结果不可信，后续筛选和导出都会失真。
|
||||
- `建议结论`：`必须做`
|
||||
|
||||
### 3. 状态码统一
|
||||
|
||||
- `当前状态`：`已完成`
|
||||
|
||||
- `范围`：
|
||||
- 注册状态
|
||||
- 检测状态
|
||||
- 使用状态
|
||||
- 复核状态
|
||||
- UI 显示映射
|
||||
- 检测器返回值
|
||||
- `当前问题`：需求文档、数据库、检测器、筛选页的状态定义不一致。
|
||||
- `不做影响`：筛选结果错误，黑名单/正常/可注册等状态可能串位。
|
||||
- `建议结论`：`必须做`
|
||||
|
||||
### 4. TXT 导出补齐
|
||||
|
||||
- `当前状态`：`已完成`
|
||||
|
||||
- `目的`：满足需求中的“导出 txt，一行一个域名”。
|
||||
- `当前问题`：当前只支持 Excel/CSV。
|
||||
- `不做影响`：需求明确不符合，验收容易直接打回。
|
||||
- `建议结论`：`必须做`
|
||||
审核：这个其实不影响，或者你可以多加一个导出为txt 选项
|
||||
### 5. 筛选条件真正落库生效
|
||||
|
||||
- `当前状态`：`已完成，待复测`
|
||||
|
||||
- `重点项`：
|
||||
- 快照年份
|
||||
- 备案年份
|
||||
- 首页网址
|
||||
- 友链数是否大于 10
|
||||
- 是否有备案历史
|
||||
- 部分状态筛选
|
||||
- `当前问题`：有些条件只有界面，没有真正进入 SQL 查询。
|
||||
- `不做影响`：运营筛选失真，界面“看起来有”但实际不可用。
|
||||
- `建议结论`：`必须做`
|
||||
|
||||
### 6. 敏感词全链路配置化
|
||||
|
||||
- `当前状态`：`已完成，待复测`
|
||||
|
||||
- `目的`：让敏感词配置窗口真正决定检测规则。
|
||||
- `当前问题`：主流程里仍有写死词表。
|
||||
- `不做影响`：虽然有敏感词页面，但配置不能完全生效，需求不满足。
|
||||
- `建议结论`：`必须做`
|
||||
审核：必须要读取软件出口提交的 敏感词
|
||||
|
||||
### 7. 停止规则补齐
|
||||
|
||||
- `当前状态`：`继续优化`
|
||||
|
||||
- `需求核心`：
|
||||
- 黑名单命中后停止后续检测
|
||||
- 已使用/已卖出/已预定不进运营池
|
||||
- 非可注册且非一口价不进入可注册池
|
||||
- `当前问题`：只实现了部分拉黑中止，完整规则未闭环。
|
||||
- `不做影响`：浪费检测资源，筛选池不准确。
|
||||
- `建议结论`：`必须做`
|
||||
|
||||
### ++ 8. 聚查、桔子增加独立检测状态
|
||||
|
||||
- `当前状态`：`已完成，待复测`
|
||||
|
||||
- `优先级`：`P0 必须做`
|
||||
- `目的`：为聚查、桔子增加“未检测 / 已检测”状态，用于支持增量补查。
|
||||
- `人工验收反馈`：
|
||||
- 第一次检测时如果未勾选聚查、桔子，则只按当前检测选项执行
|
||||
- 第二次检测时如果勾选了聚查、桔子，则数据库中尚未检测过聚查、桔子的域名需要补查一次
|
||||
- 若选中的流程全部执行完且未命中黑名单，则总状态应更新为“检测完成”
|
||||
- `不做影响`：二次检测无法按需补查，检测状态判断不准确。
|
||||
|
||||
### ++ 9. 检测选项配置与实际检测流程需一致
|
||||
|
||||
- `当前状态`：`已完成，待复测`
|
||||
|
||||
- `优先级`：`P0 必须做`
|
||||
- `人工验收反馈`：
|
||||
- 目前仅希望配置以下检测项：
|
||||
- 检查注册
|
||||
- 站长之家查询
|
||||
- 爱站网查询
|
||||
- 百度 site 查询
|
||||
- 360 的 site 查询
|
||||
- 域名检测端运行十多个小时仍在跑，用户无法理解实际执行范围
|
||||
- `优化要求`：
|
||||
- 系统设置中的检测选项必须与实际检测流程一致
|
||||
- 未勾选的检测项不得执行
|
||||
- 需要有明确的执行状态反馈
|
||||
|
||||
### ++ 10. 域名筛选结果需显示检测时间
|
||||
|
||||
- `当前状态`：`已完成`
|
||||
|
||||
- `优先级`：`P0 必须做`
|
||||
- `人工验收反馈`：
|
||||
- 条件“注册状态=可注册、使用状态=未使用、检测状态=检测完成”查询后，没有显示检测时间
|
||||
- 用户定义：检测时间 = 检测完成时间
|
||||
- `不做影响`：运营无法判断结果数据的新旧。
|
||||
|
||||
### ++ 11. 域名筛选导出需支持导出多页或全部
|
||||
|
||||
- `当前状态`：`已完成`
|
||||
|
||||
- `优先级`：`P0 必须做`
|
||||
- `人工验收反馈`：
|
||||
- 当前默认一页 100 条，需增加“导出几页”或“导出全部”的功能
|
||||
- `不做影响`：运营无法批量导出完整结果。
|
||||
|
||||
### ++ 12. “是否有备案”筛选需真实生效
|
||||
|
||||
- `当前状态`：`已完成，待复测`
|
||||
|
||||
- `优先级`：`P0 必须做`
|
||||
- `人工验收反馈`：
|
||||
- 域名筛选中是否勾选“是否有备案”，出现的域名结果都一样
|
||||
- `不做影响`：筛选结果不可信，需求不满足。
|
||||
|
||||
### ++ 13. 批量更新选中域名功能需修复
|
||||
|
||||
- `当前状态`：`已完成，待复测`
|
||||
|
||||
- `优先级`：`P0 必须做`
|
||||
- `人工验收反馈`：
|
||||
- 已选中域名后执行“批量更新选中域名”，提示“成功更新0个域名的信息”
|
||||
- `不做影响`：运营批量操作不可用。
|
||||
|
||||
### ++ 14. 检测选项配置中需补充时光机检测开关
|
||||
|
||||
- `当前状态`：`已完成`
|
||||
|
||||
- `优先级`：`P0 必须做`
|
||||
- `人工验收反馈`：
|
||||
- 系统设置中的检测选项没有“时光机检测”，但检测流程第二步就是时光机
|
||||
- `不做影响`：配置项与实际业务流程不一致，无法控制时光机是否执行。
|
||||
|
||||
---
|
||||
|
||||
## 二、P1 建议做
|
||||
|
||||
### 8. 时光机检测按审核口径升级为“全快照倒序扫描标题，命中即停”
|
||||
|
||||
- `当前状态`：`已完成，待复测`
|
||||
|
||||
- `当前状态`：已使用 Wayback/CDX API 获取全量快照时间戳。
|
||||
- `当前实现`：
|
||||
- 按时间倒序扫描全部快照
|
||||
- 仅抓取每个快照的 `title`，不再抓取正文
|
||||
- 按 `title` 去重
|
||||
- 先快速检查最新快照，命中后不再继续拉全量快照列表
|
||||
- 同时使用 CDX 返回的 `digest` 先做一轮内容级去重，减少无效 title 请求
|
||||
- 任一快照标题命中敏感词后立即停止后续扫描
|
||||
- 已增加 Redis 持久缓存：标题缓存 + 时间戳列表缓存
|
||||
- `剩余风险`：首次扫描历史快照极多的老域名时，CDX 时间戳列表获取仍可能偏慢。
|
||||
- `建议结论`：`已完成，继续复测性能`
|
||||
- 审核备注：必须全部快照检查，不能随机；只要一个快照标题命中敏感词，则判定黑名单并停止后续扫描
|
||||
|
||||
### 9. 友链数量自动落库和自动筛选联动
|
||||
|
||||
- `当前状态`：`继续优化`
|
||||
|
||||
- `当前状态`：筛选链路已支持 `友链 > 10`，但按当前审核口径改为 title-only 时光机检测后，不再从时光机正文自动计算友链数量。
|
||||
- `建议价值`：如后续仍需自动产出友链数量，需要单独补一条正文抓取或其他来源统计链路。
|
||||
- `是否阻塞首轮验收`：`看是否把友链自动检测作为必验项`
|
||||
- `建议结论`：`按你的复测结果决定是否继续做`
|
||||
|
||||
### 10. 人工筛选规则脚本化补齐
|
||||
|
||||
- `当前状态`：`继续优化`
|
||||
|
||||
- `范围`：
|
||||
- 站长之家标题/分类规则
|
||||
- 爱站风险词规则
|
||||
- 百度/360 子域名规则
|
||||
- 聚查备案年份/单位性质/首页一致性/拦截规则
|
||||
- 桔子 SEO 历史词、中文标题、外链锚文本规则
|
||||
- `当前状态`：有平台检测器，但规则覆盖不完整。
|
||||
- `建议价值`：这是把“人工流程”转成“机器流程”的关键。
|
||||
- `是否阻塞首轮验收`：看甲方是否按文档逐条验。
|
||||
- `建议结论`：`建议做`
|
||||
|
||||
### 11. 检测端稳定性优化
|
||||
|
||||
- `当前状态`：`已完成一轮基础优化，待长时复测`
|
||||
|
||||
- `内容`：
|
||||
- 连接池配置化
|
||||
- 并发线程数控制
|
||||
- 失败重试逻辑梳理
|
||||
- 任务队列模型修正
|
||||
- `当前状态`：已把默认连接池降小，但整体并发/连接模型仍偏脆弱。
|
||||
- `建议价值`：适合进入持续检测前做。
|
||||
- `是否阻塞首轮验收`：`通常不阻塞`
|
||||
- `建议结论`：`建议做`
|
||||
|
||||
### 12. 配置写入频率优化
|
||||
|
||||
- `当前状态`：`已完成`
|
||||
|
||||
- `当前问题`：系统设置页初始化过程中会多次重复写本地文件/Redis。
|
||||
- `建议价值`：降低噪音日志和无谓写入。
|
||||
- `是否阻塞首轮验收`：`不阻塞`
|
||||
- `建议结论`：`建议做`
|
||||
|
||||
### 13. 明文密码存储整改
|
||||
|
||||
- `当前状态`：`已完成`
|
||||
|
||||
- `当前问题`：本地文件中存在明文账号密码存储。
|
||||
- `建议价值`：安全性和交付规范更好。
|
||||
- `是否阻塞首轮验收`：多数情况下不阻塞功能验收，但属于明显风险。
|
||||
- `建议结论`：`建议做`
|
||||
|
||||
---
|
||||
|
||||
## 三、P2 可选做
|
||||
|
||||
### 14. 搜索引擎采集补齐
|
||||
|
||||
- `当前状态`：`暂不做`
|
||||
|
||||
- `内容`：根据关键词从搜索引擎持续采集域名入库。
|
||||
- `当前状态`：有占位入口，未真正实现。
|
||||
- `价值`：有利于做“全网增量建设”。
|
||||
- `是否必须`：如果当前先验一口价+删除列表+手工导入，不一定必须。
|
||||
- `建议结论`：`可选做`
|
||||
审核：这个可以暂时不做
|
||||
|
||||
### 15. 企业目录采集补齐
|
||||
|
||||
- `当前状态`：`暂不做`
|
||||
|
||||
- `内容`：抓取企业目录网站的公司域名。
|
||||
- `当前状态`：有占位入口，未实现。
|
||||
- `价值`：增强全网增量来源。
|
||||
- `是否必须`：首轮不一定必须。
|
||||
- `建议结论`：`可选做`
|
||||
审核：这个可以暂时不做
|
||||
|
||||
### 16. Zone File 采集补齐
|
||||
|
||||
- `当前状态`：`暂不做`
|
||||
|
||||
- `当前状态`：有占位入口，未实现。
|
||||
- `价值`：适合后期扩充大库。
|
||||
- `是否必须`：当前阶段通常不是必须。
|
||||
- `建议结论`：`可选做`
|
||||
审核：这个可以暂时不做
|
||||
|
||||
### 17. 第三方 API/数据包接入
|
||||
|
||||
- `当前状态`：`继续优化`
|
||||
|
||||
- `当前状态`：需求有提及，但项目未形成稳定接入方案。
|
||||
- `价值`：提升数据来源多样性。
|
||||
- `是否必须`：不是首轮必做。
|
||||
- `建议结论`：`可选做`
|
||||
审核：这个可以暂时不做
|
||||
|
||||
### 18. Redis Bloom 模块支持
|
||||
|
||||
- `当前状态`：`继续优化`
|
||||
|
||||
- `当前状态`：Redis 已通，但未安装 RedisBloom，当前已退回普通缓存。
|
||||
- `价值`：对海量去重更有帮助。
|
||||
- `是否必须`：首轮本地联调不必须。
|
||||
- `建议结论`：`可选做`
|
||||
|
||||
### 19. 亿级数据量数据库专项优化
|
||||
|
||||
- `当前状态`：`暂不做`
|
||||
|
||||
- `内容`：
|
||||
- 更细索引策略
|
||||
- 分区或分表设计
|
||||
- 任务批次管理
|
||||
- 大批量导入方案
|
||||
- `价值`：面向大规模生产阶段。
|
||||
- `是否必须`：当前桌面版联调阶段不是必须。
|
||||
- `建议结论`：`可选做`
|
||||
审核：这个可以暂时不做
|
||||
|
||||
### 20. UI 体验类优化
|
||||
|
||||
- `当前状态`：`继续优化`
|
||||
|
||||
- `内容`：
|
||||
- 更清晰的状态说明
|
||||
- 批量操作反馈优化
|
||||
- 查询条件联动提示
|
||||
- 导出成功/失败结果更明确
|
||||
- `是否必须`：非核心
|
||||
- `建议结论`：`可选做`
|
||||
|
||||
---
|
||||
|
||||
## 四、建议你审核时优先决定的项
|
||||
|
||||
这几项建议你先拍板，因为会直接决定我后面怎么开工：
|
||||
|
||||
- 是否把 `TXT 导出` 作为首轮必须项
|
||||
- 是否把 `时光机按年份抽样` 作为首轮必须项
|
||||
- 是否把 `人工筛选规则脚本化` 作为首轮必须项
|
||||
- 是否把 `搜索引擎/企业目录/Zone file 采集` 放到二期
|
||||
- 是否需要同步处理 `明文密码存储`
|
||||
|
||||
---
|
||||
|
||||
## 五、我建议的默认实施范围
|
||||
|
||||
如果你不想一次做太大，我建议默认先做下面这些：
|
||||
|
||||
### 默认先做
|
||||
|
||||
- 检测任务落库闭环修复
|
||||
- 检测结果写库修复
|
||||
- 状态码统一
|
||||
- TXT 导出
|
||||
- 筛选条件真正生效
|
||||
- 敏感词全链路配置化
|
||||
- 停止规则补齐
|
||||
|
||||
### 默认后做
|
||||
|
||||
- 时光机按年份抽样
|
||||
- 人工筛选规则脚本化补齐
|
||||
- 安全整改
|
||||
- 稳定性与架构优化
|
||||
|
||||
### 默认不纳入首轮
|
||||
|
||||
- 搜索引擎采集
|
||||
- 企业目录采集
|
||||
- Zone file 采集
|
||||
- 第三方 API/数据包扩展
|
||||
- Redis Bloom
|
||||
- 亿级数据量专项优化
|
||||
|
||||
|
||||
审核总结：
|
||||
## 一、P0 必须做 必须做
|
||||
## 二、P1 建议做 必须做
|
||||
## 三、P2 可选做 根据我审核备注来做，没审核的做
|
||||
|
||||
当前执行结论：
|
||||
- `P0`：已基本落地，建议你按“导入 -> 检测 -> 筛选 -> 导出 -> 批量更新”做一轮人工复测
|
||||
- `P1`：已完成大部分主干优化，剩余重点在“停止规则细化”和“人工筛选规则脚本化”
|
||||
- `P2`：已按你的备注暂缓未审核项，不影响当前主线联调
|
||||
Reference in New Issue
Block a user