first commit

需求文档内容_utf8.txt

@@ -0,0 +1,202 @@
+全网域名库需求文档
+（按原内容整理，未改动业务内容）
+需求：
+1.做一个全网域名库（只要com net）
+2.每天筛查符合条件的过期可以注册的域名出来
+3.可以对每天一口价域名 精选筛选
+4.数据库设计好，这个数据量非常大，全网目前已经注册的con net 应该最少3亿，不需要一次性收集完成，每天逐步增加
+总体流程：
+一。筛选可以注册域名 
+1.收集域名入库
+2.先把入库域名做 注册状态检测，域名状态入库更新，
+后续每天第一时间把可以注册的域名，做检测的各种筛选；
+（RDAP/注册商/第三方API/whois 可以检测注册状态/或者可以找到更加好的方案）
+（优先 RDAP，然后 /注册商/第三方APIWHOIS 检测）
+3.时光机 做基础筛选，主要筛查出快照包含 敏感词的，然后拉黑状态
+4.各大登录平台做最后筛选检测（看最后人工筛选流程）
+5.筛选完成 后，把各种状态更新数据库，
+6.提供可筛选条件，给运营筛选域名导出来
+二。筛选一口价域名
+1.从聚名导入一口价域名，去重入库，
+2.去除黑名单的，然后去时光机做基础筛选
+3.各大登录平台做最后筛选检测（看最后人工筛选流程）
+机器流程：
+A. 入库流水线
+导入原始域名
+标准化（小写、去空格、去协议、只留主域）
+只保留 .com/.net
+去重
+写入来源批次
+创建待检测任务
+B. 基础检测流水线
+注册状态检测
+黑名单缓存检查
+时光机快照年份采集
+时光机正文抽样与敏感词匹配
+命中则直接拉黑并停止后续检测
+未命中进入深度检测
+C. 深度检测流水线
+按成本从低到高跑：
+百度历史/百度 site
+360 site
+Google site
+站长之家 / 爱站 / Ahrefs
+桔子（查历史，额度一周50w个域名） /
+聚查 WHOIS / 备案 / 拦截 /
+桔子（查外连，这个最后，额度一周只有8000个域名） /
+D. 导出流水线
+运营筛选条件组合查询
+→ 预览
+→ 导出 TXT
+→ 批量更新“使用状态”
+停止规则：
+1.域名检测状态 = 黑名单
+→ 后续不再进入任何检测队列
+2.域名使用状态 ∈ {已使用, 已卖出, 已预定}
+→ 不进入运营可选池
+3.域名注册状态 = 未到期不能注册 且 非一口价
+→ 不进入“可注册域名池”
+检测优先级
+1.后缀过滤（只保留 .com/.net）
+2.格式校验 / 去重
+3.黑名单缓存命中
+4.注册状态检测
+5.时光机基础筛查
+6.平台风险/标题/外链/收录检测
+7.备案检测
+8.导出候选池
+关键原则：
+系统采用“增量建设”模式，不要求一次性收集全量 .com/.net，而是通过多来源每日持续入库。
+所有检测采用流水线 + 队列模式，支持失败重试、断点续跑。
+黑名单域名一旦命中，立即停止后续检测，避免资源浪费。
+所有平台检测器必须插件化，后续可替换、可新增。
+拉黑结果必须更新原因
+敏感词、风险词必须可配置。
+数据库设计需支持亿级数据量，
+注册状态检测优先采用 RDAP，其次第三方接口，最后兼容 WHOIS。
+Archive 历史快照查询优先采用官方 CDX API，不直接爬页面。
+域名来源：
+1、 从聚名下载一口价域名（
+https://www.juming.com/   
+chaofanai1998@gmail.com
+llzz123,./
+）
+2、 从聚名的过期删除域名列表下载已经过期的域名
+3. 全网收集全网 com net 域名，特别是 公司注册这些，可以去各大搜索引擎浏览器搜索关键词 收集域名入库
+4. 手动批量添加域名，给个窗口输入或者导入txt
+5. 各种企业录网站抓取 所有公司域名
+6. zone file 收
+7. 第三方 API / 数据包，问下gpt
+运营操作窗口：
+筛选条件：
+1.域名注册状态： 可以注册的
+2.是不是一口价域名，这个就不需要筛选条件1了
+3.域名使用状态： 未使用的
+4.域名检测状态： 正常的
+5.是否有备案历史：  是否
+6.备案年份： 2026 。。
+7.域名快照所有年份： 可选包含多年份  2026  2025  2024
+8.快照历史单个页面友情链接数量是否大于10：  是/否
+9.筛选完成给个导出按钮，都出txt 一行一个；
+10.给个批量更新使用状态：运营使用后，更新域名使用状态，避免重复检测
+11.给个批量更新人工审核状态：运营使用后，更新人工复核状态，避免重复检测
+12.敏感词 录入窗口
+筛选流程：
+1.先去时光机（archive.org）做基础筛查，因为时光机查域名历史快照是免费的，先把有黑历史的 一些不需要的条件 域名，拉入黑名单，后续不再检测
+2.然后再去各大平台筛选
+时光机筛选：  这个是基础筛选  官网archive.org
+时光机查询不要写死网页爬取，直接走 CDX API
+Internet Archive 官方有 Wayback CDX API，可以直接查快照时间轴和版本列表。
+时光机查询优先用 CDX API
+先拿快照年份
+再按年份抽样抓正文
+正文做敏感词匹配
+命中后直接黑名单
+1. 凡是 历史快照信息中存在敏感词的域名全部更新为 黑名单状态，凡是黑名单状态的，后续不做任何检测
+2. 检测快照年份，更新域名信息，需要把快照所属年份 录入域名库，后面需要作为筛选条件
+3.快照历史单个页面友情链接数量是否大于10：  是/否      时光机查询快照可以筛选
+域名表必须要要的字段，其它你可以按需求加
+域名
+域名使用状态： 1.未使用，2.已经使用，3.已经卖出，4.已经预定。（这个作用是，后续使用后更新数据库，避免重复检测，浪费资源）
+域名检测状态: 1:待检测  2 检测中  3 正常 4 黑名单  5 检测失败  6 暂停检测
+域名注册状态：
+1 待检测
+2 可注册
+3 已注册
+4 宽限期（autoRenewPeriod）
+5 赎回期（redemptionPeriod）
+6 删除期（pendingDelete）
+7 clientHold
+8 serverHold
+9 状态未知
+10 检测失败
+域名来源类型
+1 聚名一口价
+2 聚名过期删除
+3 zone file
+4 搜索引擎采集
+5 企业目录采集
+6 手工录入
+7 TXT 导入
+8 第三方接口
+9 其它
+黑名单原因
+快照敏感词
+百度历史过灰
+标题敏感词
+子域名异常
+风险提示
+备案条件不符
+拦截检测异常
+WHOIS/RDAP 状态异常
+外链锚文本敏感
+人工拉黑
+人工复核状态：
+0 无需复核
+1 待人工复核
+2 人工通过
+3 人工拒绝
+域名过期时间:
+是否有备案历史：1:待检测;2:有备案记录;3:没有备案记录
+备案年份：
+域名快照所有年份：2026,2025,2024
+备案单位性质是否企业：  是/否    聚查里面查
+首网址和备案网址是否一样：  是/否   聚查里面查
+检测时间
+百度历史收录状态： 是否有收录  是/否    桔子查询检查
+百度site收录状态： 是否有收录  是/否    百度site检测
+title 是否简体中文：  是/否     桔子查询检查有提示
+360 site收录状态： 是否有收录  是/否    360浏览器 site检测
+google site收录状态： 是否有收录  是/否    google浏览器 site检测
+快照历史单个页面友情链接数量是否大于10：  是/否      时光机查询快照可以筛选
+下面是目前人工筛选流程：  把筛选流程转化脚本筛选
+第一步：（域名只要.com  .net这两种）只负责入库（使用postgresql）做成单独的可视化界面
+1、从聚名下载一口价合适价格的域名
+2、从聚名的过期删除域名列表下载已经过期的域名
+3. 全网收集全网 com net 域名，特别是 公司注册这些
+4. 手动批量添加域名
+
+
+从二开始做成单独的可视化界面（检测程序是可以多开到多个服务器上）
+第二步：检测域名是否注册
+
+第四步：在站长之家查询，域名的标题是敏感词的都不要，查询中在网站分类是：视频电影、体育运动、常用查询等等都不要  --匹配铭感词 直接拉黑状态
+第五步：在爱站网查询，域名的标题是敏感词的都不要，查询中在百度网址检测是：低风险、疑似色情博彩风险 严重影响权重等都不要   --匹配铭感词 直接拉黑状态
+第六步：百度site查询，site查询中发现子域名的不要，域名的标题是敏感词的都不要，顶级域名或www或没收录的可以要  --匹配铭感词/有子域名（www,@,m 除外） 直接拉黑状态
+第七步：360的site查询，site查询中发现子域名的不要，域名的标题是敏感词的都不要，顶级域名或www或没收录的可以要  --匹配铭感词/有子域名（www,@,m 除外） 直接拉黑状态
+第八步：爱站网中的网站综合数据，快速批量查询，域名的标题是敏感词的都不要，查询中在百度网址检测是：低风险、疑似色情博彩风险 严重影响权重等都不要  --匹配铭感词/风险提示 直接拉黑状态
+第九步：百度网址安全中心查询，网址检测结果：{危险}的不要   --风险提示 直接拉黑状态
+第十步：聚查中的WHOIS 查询：域名状态查询出来是clientHold、serverHold不要   --这2个标识 直接拉黑状态
+第十一步：聚查中的备案相关查询：查询出来的{审核时间}只要2017-2023年的，  ----把备案年份 录入域名里面的字段，给运营筛选
+{单位性质}最好是企业的,   -- 更新域名里面的单位性质  是/否
+{网站首页网址}要跟{备案域名}一样，对应不上或者是多个网站首页网址的都不要  ---首网址和备案网址是否一样  是/否
+第十二步：聚查中的拦截检测相关查询：查询出来是正常的才要，只要有一项是拦截的都不要    -- 只要有一项拦截  直接拉黑状态
+第十三步：登录桔子seo网把下载好的域名复制到桔子查历史中批量查询
+第十四步：
+1、批量查询后在历史信息中存在敏感词的域名全部不要  --匹配铭感词 直接拉黑状态
+2、查询中有些域名是有百度历史收录的，在百度历史收录中做过灰的不要，百度历史收录中发现子域名也不要，
+有（盾集捡漏清单-汇集全网隐藏折扣,每天一折疯抢!、足球、直播、证券、配资、软件）的不要，在查询后只有显示是简体中文的要，显示是其他语言的都不要包括繁体中文
+3、有些域名在查询后没有敏感词，但在历史建站记录中是体育、商行、下载，影视、网络、计算、app、HTML SiteMap、模拟器、传媒、二次元、成人、米乐、小说、凯发、人才、华体、娱乐、开户等等这些词的都不要
+(铭感词，给个地方配置，每个词，分割）；--匹配铭感词 直接拉黑状态
+4、域名在桔子seo网的外链查询緢文本中发现有子域名的不要，在外链查询中存在敏感词的域名全部不要，外链查询緢文本中发现有：内幕、猛料、精料、高手、绝杀、权威、澳门等等都不要  --匹配铭感词 直接拉黑状态
+使用pyside6做成可视化界面