203 lines
11 KiB
Plaintext
203 lines
11 KiB
Plaintext
全网域名库需求文档
|
||
（按原内容整理，未改动业务内容）
|
||
需求：
|
||
1.做一个全网域名库（只要com net）
|
||
2.每天筛查符合条件的过期可以注册的域名出来
|
||
3.可以对每天一口价域名 精选筛选
|
||
4.数据库设计好，这个数据量非常大，全网目前已经注册的con net 应该最少3亿，不需要一次性收集完成，每天逐步增加
|
||
总体流程：
|
||
一。筛选可以注册域名
|
||
1.收集域名入库
|
||
2.先把入库域名做 注册状态检测，域名状态入库更新，
|
||
后续每天第一时间把可以注册的域名，做检测的各种筛选；
|
||
（RDAP/注册商/第三方API/whois 可以检测注册状态/或者可以找到更加好的方案）
|
||
（优先 RDAP，然后 /注册商/第三方APIWHOIS 检测）
|
||
3.时光机 做基础筛选，主要筛查出快照包含 敏感词的，然后拉黑状态
|
||
4.各大登录平台做最后筛选检测（看最后人工筛选流程）
|
||
5.筛选完成 后，把各种状态更新数据库，
|
||
6.提供可筛选条件，给运营筛选域名导出来
|
||
二。筛选一口价域名
|
||
1.从聚名导入一口价域名，去重入库，
|
||
2.去除黑名单的，然后去时光机做基础筛选
|
||
3.各大登录平台做最后筛选检测（看最后人工筛选流程）
|
||
机器流程：
|
||
A. 入库流水线
|
||
导入原始域名
|
||
标准化（小写、去空格、去协议、只留主域）
|
||
只保留 .com/.net
|
||
去重
|
||
写入来源批次
|
||
创建待检测任务
|
||
B. 基础检测流水线
|
||
注册状态检测
|
||
黑名单缓存检查
|
||
时光机快照年份采集
|
||
时光机正文抽样与敏感词匹配
|
||
命中则直接拉黑并停止后续检测
|
||
未命中进入深度检测
|
||
C. 深度检测流水线
|
||
按成本从低到高跑：
|
||
百度历史/百度 site
|
||
360 site
|
||
Google site
|
||
站长之家 / 爱站 / Ahrefs
|
||
桔子（查历史，额度一周50w个域名） /
|
||
聚查 WHOIS / 备案 / 拦截 /
|
||
桔子（查外连，这个最后，额度一周只有8000个域名） /
|
||
D. 导出流水线
|
||
运营筛选条件组合查询
|
||
→ 预览
|
||
→ 导出 TXT
|
||
→ 批量更新“使用状态”
|
||
停止规则：
|
||
1.域名检测状态 = 黑名单
|
||
→ 后续不再进入任何检测队列
|
||
2.域名使用状态 ∈ {已使用, 已卖出, 已预定}
|
||
→ 不进入运营可选池
|
||
3.域名注册状态 = 未到期不能注册 且 非一口价
|
||
→ 不进入“可注册域名池”
|
||
检测优先级
|
||
1.后缀过滤（只保留 .com/.net）
|
||
2.格式校验 / 去重
|
||
3.黑名单缓存命中
|
||
4.注册状态检测
|
||
5.时光机基础筛查
|
||
6.平台风险/标题/外链/收录检测
|
||
7.备案检测
|
||
8.导出候选池
|
||
关键原则：
|
||
系统采用“增量建设”模式，不要求一次性收集全量 .com/.net，而是通过多来源每日持续入库。
|
||
所有检测采用流水线 + 队列模式，支持失败重试、断点续跑。
|
||
黑名单域名一旦命中，立即停止后续检测，避免资源浪费。
|
||
所有平台检测器必须插件化，后续可替换、可新增。
|
||
拉黑结果必须更新原因
|
||
敏感词、风险词必须可配置。
|
||
数据库设计需支持亿级数据量，
|
||
注册状态检测优先采用 RDAP，其次第三方接口，最后兼容 WHOIS。
|
||
Archive 历史快照查询优先采用官方 CDX API，不直接爬页面。
|
||
域名来源：
|
||
1、 从聚名下载一口价域名（
|
||
https://www.juming.com/
|
||
chaofanai1998@gmail.com
|
||
llzz123,./
|
||
）
|
||
2、 从聚名的过期删除域名列表下载已经过期的域名
|
||
3. 全网收集全网 com net 域名，特别是 公司注册这些，可以去各大搜索引擎浏览器搜索关键词 收集域名入库
|
||
4. 手动批量添加域名，给个窗口输入或者导入txt
|
||
5. 各种企业录网站抓取 所有公司域名
|
||
6. zone file 收
|
||
7. 第三方 API / 数据包，问下gpt
|
||
运营操作窗口：
|
||
筛选条件：
|
||
1.域名注册状态： 可以注册的
|
||
2.是不是一口价域名，这个就不需要筛选条件1了
|
||
3.域名使用状态： 未使用的
|
||
4.域名检测状态： 正常的
|
||
5.是否有备案历史： 是否
|
||
6.备案年份： 2026 。。
|
||
7.域名快照所有年份： 可选包含多年份 2026 2025 2024
|
||
8.快照历史单个页面友情链接数量是否大于10： 是/否
|
||
9.筛选完成给个导出按钮，都出txt 一行一个；
|
||
10.给个批量更新使用状态：运营使用后，更新域名使用状态，避免重复检测
|
||
11.给个批量更新人工审核状态：运营使用后，更新人工复核状态，避免重复检测
|
||
12.敏感词 录入窗口
|
||
筛选流程：
|
||
1.先去时光机（archive.org）做基础筛查，因为时光机查域名历史快照是免费的，先把有黑历史的 一些不需要的条件 域名，拉入黑名单，后续不再检测
|
||
2.然后再去各大平台筛选
|
||
时光机筛选： 这个是基础筛选 官网archive.org
|
||
时光机查询不要写死网页爬取，直接走 CDX API
|
||
Internet Archive 官方有 Wayback CDX API，可以直接查快照时间轴和版本列表。
|
||
时光机查询优先用 CDX API
|
||
先拿快照年份
|
||
再按年份抽样抓正文
|
||
正文做敏感词匹配
|
||
命中后直接黑名单
|
||
1. 凡是 历史快照信息中存在敏感词的域名全部更新为 黑名单状态，凡是黑名单状态的，后续不做任何检测
|
||
2. 检测快照年份，更新域名信息，需要把快照所属年份 录入域名库，后面需要作为筛选条件
|
||
3.快照历史单个页面友情链接数量是否大于10： 是/否 时光机查询快照可以筛选
|
||
域名表必须要要的字段，其它你可以按需求加
|
||
域名
|
||
域名使用状态： 1.未使用，2.已经使用，3.已经卖出，4.已经预定。（这个作用是，后续使用后更新数据库，避免重复检测，浪费资源）
|
||
域名检测状态: 1:待检测 2 检测中 3 正常 4 黑名单 5 检测失败 6 暂停检测
|
||
域名注册状态：
|
||
1 待检测
|
||
2 可注册
|
||
3 已注册
|
||
4 宽限期（autoRenewPeriod）
|
||
5 赎回期（redemptionPeriod）
|
||
6 删除期（pendingDelete）
|
||
7 clientHold
|
||
8 serverHold
|
||
9 状态未知
|
||
10 检测失败
|
||
域名来源类型
|
||
1 聚名一口价
|
||
2 聚名过期删除
|
||
3 zone file
|
||
4 搜索引擎采集
|
||
5 企业目录采集
|
||
6 手工录入
|
||
7 TXT 导入
|
||
8 第三方接口
|
||
9 其它
|
||
黑名单原因
|
||
快照敏感词
|
||
百度历史过灰
|
||
标题敏感词
|
||
子域名异常
|
||
风险提示
|
||
备案条件不符
|
||
拦截检测异常
|
||
WHOIS/RDAP 状态异常
|
||
外链锚文本敏感
|
||
人工拉黑
|
||
人工复核状态：
|
||
0 无需复核
|
||
1 待人工复核
|
||
2 人工通过
|
||
3 人工拒绝
|
||
域名过期时间:
|
||
是否有备案历史：1:待检测;2:有备案记录;3:没有备案记录
|
||
备案年份：
|
||
域名快照所有年份：2026,2025,2024
|
||
备案单位性质是否企业： 是/否 聚查里面查
|
||
首网址和备案网址是否一样： 是/否 聚查里面查
|
||
检测时间
|
||
百度历史收录状态： 是否有收录 是/否 桔子查询检查
|
||
百度site收录状态： 是否有收录 是/否 百度site检测
|
||
title 是否简体中文： 是/否 桔子查询检查有提示
|
||
360 site收录状态： 是否有收录 是/否 360浏览器 site检测
|
||
google site收录状态： 是否有收录 是/否 google浏览器 site检测
|
||
快照历史单个页面友情链接数量是否大于10： 是/否 时光机查询快照可以筛选
|
||
下面是目前人工筛选流程： 把筛选流程转化脚本筛选
|
||
第一步：（域名只要.com .net这两种）只负责入库（使用postgresql）做成单独的可视化界面
|
||
1、从聚名下载一口价合适价格的域名
|
||
2、从聚名的过期删除域名列表下载已经过期的域名
|
||
3. 全网收集全网 com net 域名，特别是 公司注册这些
|
||
4. 手动批量添加域名
|
||
|
||
|
||
从二开始做成单独的可视化界面（检测程序是可以多开到多个服务器上）
|
||
第二步：检测域名是否注册
|
||
|
||
第四步：在站长之家查询，域名的标题是敏感词的都不要，查询中在网站分类是：视频电影、体育运动、常用查询等等都不要 --匹配铭感词 直接拉黑状态
|
||
第五步：在爱站网查询，域名的标题是敏感词的都不要，查询中在百度网址检测是：低风险、疑似色情博彩风险 严重影响权重等都不要 --匹配铭感词 直接拉黑状态
|
||
第六步：百度site查询，site查询中发现子域名的不要，域名的标题是敏感词的都不要，顶级域名或www或没收录的可以要 --匹配铭感词/有子域名（www,@,m 除外） 直接拉黑状态
|
||
第七步：360的site查询，site查询中发现子域名的不要，域名的标题是敏感词的都不要，顶级域名或www或没收录的可以要 --匹配铭感词/有子域名（www,@,m 除外） 直接拉黑状态
|
||
第八步：爱站网中的网站综合数据，快速批量查询，域名的标题是敏感词的都不要，查询中在百度网址检测是：低风险、疑似色情博彩风险 严重影响权重等都不要 --匹配铭感词/风险提示 直接拉黑状态
|
||
第九步：百度网址安全中心查询，网址检测结果：{危险}的不要 --风险提示 直接拉黑状态
|
||
第十步：聚查中的WHOIS 查询：域名状态查询出来是clientHold、serverHold不要 --这2个标识 直接拉黑状态
|
||
第十一步：聚查中的备案相关查询：查询出来的{审核时间}只要2017-2023年的， ----把备案年份 录入域名里面的字段，给运营筛选
|
||
{单位性质}最好是企业的, -- 更新域名里面的单位性质 是/否
|
||
{网站首页网址}要跟{备案域名}一样，对应不上或者是多个网站首页网址的都不要 ---首网址和备案网址是否一样 是/否
|
||
第十二步：聚查中的拦截检测相关查询：查询出来是正常的才要，只要有一项是拦截的都不要 -- 只要有一项拦截 直接拉黑状态
|
||
第十三步：登录桔子seo网把下载好的域名复制到桔子查历史中批量查询
|
||
第十四步：
|
||
1、批量查询后在历史信息中存在敏感词的域名全部不要 --匹配铭感词 直接拉黑状态
|
||
2、查询中有些域名是有百度历史收录的，在百度历史收录中做过灰的不要，百度历史收录中发现子域名也不要，
|
||
有（盾集捡漏清单-汇集全网隐藏折扣,每天一折疯抢!、足球、直播、证券、配资、软件）的不要，在查询后只有显示是简体中文的要，显示是其他语言的都不要包括繁体中文
|
||
3、有些域名在查询后没有敏感词，但在历史建站记录中是体育、商行、下载，影视、网络、计算、app、HTML SiteMap、模拟器、传媒、二次元、成人、米乐、小说、凯发、人才、华体、娱乐、开户等等这些词的都不要
|
||
(铭感词，给个地方配置，每个词，分割）；--匹配铭感词 直接拉黑状态
|
||
4、域名在桔子seo网的外链查询緢文本中发现有子域名的不要，在外链查询中存在敏感词的域名全部不要，外链查询緢文本中发现有：内幕、猛料、精料、高手、绝杀、权威、澳门等等都不要 --匹配铭感词 直接拉黑状态
|
||
使用pyside6做成可视化界面
|