全网域名库需求文档 （按原内容整理，未改动业务内容） 需求： 1.做一个全网域名库（只要com net） 2.每天筛查符合条件的过期可以注册的域名出来 3.可以对每天一口价域名 精选筛选 4.数据库设计好，这个数据量非常大，全网目前已经注册的con net 应该最少3亿，不需要一次性收集完成，每天逐步增加 总体流程： 一。筛选可以注册域名 1.收集域名入库 2.先把入库域名做 注册状态检测，域名状态入库更新， 后续每天第一时间把可以注册的域名，做检测的各种筛选； （RDAP/注册商/第三方API/whois 可以检测注册状态/或者可以找到更加好的方案） （优先 RDAP，然后 /注册商/第三方APIWHOIS 检测） 3.时光机 做基础筛选，主要筛查出快照包含 敏感词的，然后拉黑状态 4.各大登录平台做最后筛选检测（看最后人工筛选流程） 5.筛选完成 后，把各种状态更新数据库， 6.提供可筛选条件，给运营筛选域名导出来 二。筛选一口价域名 1.从聚名导入一口价域名，去重入库， 2.去除黑名单的，然后去时光机做基础筛选 3.各大登录平台做最后筛选检测（看最后人工筛选流程） 机器流程： A. 入库流水线 导入原始域名 标准化（小写、去空格、去协议、只留主域） 只保留 .com/.net 去重 写入来源批次 创建待检测任务 B. 基础检测流水线 注册状态检测 黑名单缓存检查 时光机快照年份采集 时光机正文抽样与敏感词匹配 命中则直接拉黑并停止后续检测 未命中进入深度检测 C. 深度检测流水线 按成本从低到高跑： 百度历史/百度 site 360 site Google site 站长之家 / 爱站 / Ahrefs 桔子（查历史，额度一周50w个域名） / 聚查 WHOIS / 备案 / 拦截 / 桔子（查外连，这个最后，额度一周只有8000个域名） / D. 导出流水线 运营筛选条件组合查询 → 预览 → 导出 TXT → 批量更新“使用状态” 停止规则： 1.域名检测状态 = 黑名单 → 后续不再进入任何检测队列 2.域名使用状态 ∈ {已使用, 已卖出, 已预定} → 不进入运营可选池 3.域名注册状态 = 未到期不能注册 且 非一口价 → 不进入“可注册域名池” 检测优先级 1.后缀过滤（只保留 .com/.net） 2.格式校验 / 去重 3.黑名单缓存命中 4.注册状态检测 5.时光机基础筛查 6.平台风险/标题/外链/收录检测 7.备案检测 8.导出候选池 关键原则： 系统采用“增量建设”模式，不要求一次性收集全量 .com/.net，而是通过多来源每日持续入库。 所有检测采用流水线 + 队列模式，支持失败重试、断点续跑。 黑名单域名一旦命中，立即停止后续检测，避免资源浪费。 所有平台检测器必须插件化，后续可替换、可新增。 拉黑结果必须更新原因 敏感词、风险词必须可配置。 数据库设计需支持亿级数据量， 注册状态检测优先采用 RDAP，其次第三方接口，最后兼容 WHOIS。 Archive 历史快照查询优先采用官方 CDX API，不直接爬页面。 域名来源： 1、 从聚名下载一口价域名（ https://www.juming.com/ chaofanai1998@gmail.com llzz123,./ ） 2、 从聚名的过期删除域名列表下载已经过期的域名 3. 全网收集全网 com net 域名，特别是 公司注册这些，可以去各大搜索引擎浏览器搜索关键词 收集域名入库 4. 手动批量添加域名，给个窗口输入或者导入txt 5. 各种企业录网站抓取 所有公司域名 6. zone file 收 7. 第三方 API / 数据包，问下gpt 运营操作窗口： 筛选条件： 1.域名注册状态： 可以注册的 2.是不是一口价域名，这个就不需要筛选条件1了 3.域名使用状态： 未使用的 4.域名检测状态： 正常的 5.是否有备案历史： 是否 6.备案年份： 2026 。。 7.域名快照所有年份： 可选包含多年份 2026 2025 2024 8.快照历史单个页面友情链接数量是否大于10： 是/否 9.筛选完成给个导出按钮，都出txt 一行一个； 10.给个批量更新使用状态：运营使用后，更新域名使用状态，避免重复检测 11.给个批量更新人工审核状态：运营使用后，更新人工复核状态，避免重复检测 12.敏感词 录入窗口 筛选流程： 1.先去时光机（archive.org）做基础筛查，因为时光机查域名历史快照是免费的，先把有黑历史的 一些不需要的条件 域名，拉入黑名单，后续不再检测 2.然后再去各大平台筛选 时光机筛选： 这个是基础筛选 官网archive.org 时光机查询不要写死网页爬取，直接走 CDX API Internet Archive 官方有 Wayback CDX API，可以直接查快照时间轴和版本列表。 时光机查询优先用 CDX API 先拿快照年份 再按年份抽样抓正文 正文做敏感词匹配 命中后直接黑名单 1. 凡是 历史快照信息中存在敏感词的域名全部更新为 黑名单状态，凡是黑名单状态的，后续不做任何检测 2. 检测快照年份，更新域名信息，需要把快照所属年份 录入域名库，后面需要作为筛选条件 3.快照历史单个页面友情链接数量是否大于10： 是/否 时光机查询快照可以筛选 域名表必须要要的字段，其它你可以按需求加 域名 域名使用状态： 1.未使用，2.已经使用，3.已经卖出，4.已经预定。（这个作用是，后续使用后更新数据库，避免重复检测，浪费资源） 域名检测状态: 1:待检测 2 检测中 3 正常 4 黑名单 5 检测失败 6 暂停检测 域名注册状态： 1 待检测 2 可注册 3 已注册 4 宽限期（autoRenewPeriod） 5 赎回期（redemptionPeriod） 6 删除期（pendingDelete） 7 clientHold 8 serverHold 9 状态未知 10 检测失败 域名来源类型 1 聚名一口价 2 聚名过期删除 3 zone file 4 搜索引擎采集 5 企业目录采集 6 手工录入 7 TXT 导入 8 第三方接口 9 其它 黑名单原因 快照敏感词 百度历史过灰 标题敏感词 子域名异常 风险提示 备案条件不符 拦截检测异常 WHOIS/RDAP 状态异常 外链锚文本敏感 人工拉黑 人工复核状态： 0 无需复核 1 待人工复核 2 人工通过 3 人工拒绝 域名过期时间: 是否有备案历史：1:待检测;2:有备案记录;3:没有备案记录 备案年份： 域名快照所有年份：2026,2025,2024 备案单位性质是否企业： 是/否 聚查里面查 首网址和备案网址是否一样： 是/否 聚查里面查 检测时间 百度历史收录状态： 是否有收录 是/否 桔子查询检查 百度site收录状态： 是否有收录 是/否 百度site检测 title 是否简体中文： 是/否 桔子查询检查有提示 360 site收录状态： 是否有收录 是/否 360浏览器 site检测 google site收录状态： 是否有收录 是/否 google浏览器 site检测 快照历史单个页面友情链接数量是否大于10： 是/否 时光机查询快照可以筛选 下面是目前人工筛选流程： 把筛选流程转化脚本筛选 第一步：（域名只要.com .net这两种）只负责入库（使用postgresql）做成单独的可视化界面 1、从聚名下载一口价合适价格的域名 2、从聚名的过期删除域名列表下载已经过期的域名 3. 全网收集全网 com net 域名，特别是 公司注册这些 4. 手动批量添加域名 从二开始做成单独的可视化界面（检测程序是可以多开到多个服务器上） 第二步：检测域名是否注册 第四步：在站长之家查询，域名的标题是敏感词的都不要，查询中在网站分类是：视频电影、体育运动、常用查询等等都不要 --匹配铭感词 直接拉黑状态 第五步：在爱站网查询，域名的标题是敏感词的都不要，查询中在百度网址检测是：低风险、疑似色情博彩风险 严重影响权重等都不要 --匹配铭感词 直接拉黑状态 第六步：百度site查询，site查询中发现子域名的不要，域名的标题是敏感词的都不要，顶级域名或www或没收录的可以要 --匹配铭感词/有子域名（www,@,m 除外） 直接拉黑状态 第七步：360的site查询，site查询中发现子域名的不要，域名的标题是敏感词的都不要，顶级域名或www或没收录的可以要 --匹配铭感词/有子域名（www,@,m 除外） 直接拉黑状态 第八步：爱站网中的网站综合数据，快速批量查询，域名的标题是敏感词的都不要，查询中在百度网址检测是：低风险、疑似色情博彩风险 严重影响权重等都不要 --匹配铭感词/风险提示 直接拉黑状态 第九步：百度网址安全中心查询，网址检测结果：{危险}的不要 --风险提示 直接拉黑状态 第十步：聚查中的WHOIS 查询：域名状态查询出来是clientHold、serverHold不要 --这2个标识 直接拉黑状态 第十一步：聚查中的备案相关查询：查询出来的{审核时间}只要2017-2023年的， ----把备案年份 录入域名里面的字段，给运营筛选 {单位性质}最好是企业的, -- 更新域名里面的单位性质 是/否 {网站首页网址}要跟{备案域名}一样，对应不上或者是多个网站首页网址的都不要 ---首网址和备案网址是否一样 是/否 第十二步：聚查中的拦截检测相关查询：查询出来是正常的才要，只要有一项是拦截的都不要 -- 只要有一项拦截 直接拉黑状态 第十三步：登录桔子seo网把下载好的域名复制到桔子查历史中批量查询 第十四步： 1、批量查询后在历史信息中存在敏感词的域名全部不要 --匹配铭感词 直接拉黑状态 2、查询中有些域名是有百度历史收录的，在百度历史收录中做过灰的不要，百度历史收录中发现子域名也不要， 有（盾集捡漏清单-汇集全网隐藏折扣,每天一折疯抢!、足球、直播、证券、配资、软件）的不要，在查询后只有显示是简体中文的要，显示是其他语言的都不要包括繁体中文 3、有些域名在查询后没有敏感词，但在历史建站记录中是体育、商行、下载，影视、网络、计算、app、HTML SiteMap、模拟器、传媒、二次元、成人、米乐、小说、凯发、人才、华体、娱乐、开户等等这些词的都不要 (铭感词，给个地方配置，每个词，分割）；--匹配铭感词 直接拉黑状态 4、域名在桔子seo网的外链查询緢文本中发现有子域名的不要，在外链查询中存在敏感词的域名全部不要，外链查询緢文本中发现有：内幕、猛料、精料、高手、绝杀、权威、澳门等等都不要 --匹配铭感词 直接拉黑状态 使用pyside6做成可视化界面