大数据安全治理与防范——网址反欺诈实战

互联网的快速发展，在方便用户信息传递的过程中，也使大量犯罪活动从线下向线上转移，黑灰产常常通过搭建和传播欺诈、赌博、色情等恶意网站来牟取暴利。为了净化网络环境，必须加大对恶意网站的检测和拦截。 本书主要介绍恶意网址的欺诈手段和对抗技术。本书分为5个部分，共11章。针对网址反欺诈这一领域，首先介绍万维网的起源、工作原理和发展历程；其次通过列举常见的恶意网站，让读者了解网址反欺诈面临的主要问题；然后讲解网址基础数据、数据治理和特征工程；接着介绍包含网址结构、文本、图像、复杂网络在内的一系列对抗方法和实战案例；最后介绍网址运营体系和网址知识情报挖掘及应用。本书将理论与实践相结合，帮助读者了解和掌握网址安全相关知识体系，也能帮助读者培养从0到1搭建网址反欺诈体系的能力。无论是初级信息安全从业者，还是有志于从事信息安全方向的在校学生，都会在阅读中受益匪浅。

张凯，现任腾讯专家工程师。一直从事大数据安全方面的工作，积累了10多年的黑灰产对抗经验，主要参与过游戏安全对抗、业务防刷、金融风控和反诈骗对抗系统等项目。 牛亚峰，现任腾讯高级工程师。一直从事黑灰产对抗业务方面的工作，参与过反洗钱、支付反欺诈、电信反诈、网址反欺诈等项目。 张旭，现任腾讯高级工程师。主要从事大数据下黑灰产安全对抗业务、反诈骗对抗系统开发方面的工作。曾参与中国信息通信研究院《电话号码标记应用技术要求》行业标准制定，并为《电信网络诈骗治理与人工智能应用白皮书》提供行业技术支持。 甘晓华，现任腾讯高级工程师。主要从事金融风控、黑灰产对抗等业务安全方面的相关工作。 熊奇，现任腾讯专家工程师。一直从事业务安全方面的工作，先后参与过反诈骗、App安全、金融反诈和安全大数据合规与业务风控等项目，积累了15年的黑灰产对抗和安全系统架构的经验。

目 录 第 1部分 网址大数据安全基础 第 1章 绪论　2 1.1 万维网的起源　2 1.1.1 万维网的发明　3 1.1.2 万维网的关键技术　3 1.1.3 万维网的影响　6 1.2 万维网的工作原理　6 1.2.1 网站开发　8 1.2.2 网站部署　9 1.2.3 网站解析　10 1.2.4 网站渲染　11 1.3 万维网风控发展历程　13 1.3.1 专家规则　14 1.3.2 机器学习模型　14 1.3.3 深度学习模型　14 1.3.4 图神经网络模型　15 1.4 万维网安全风控架构　16 1.5 小结　18 第 2部分 黑灰产洞察 第 2章 网络黑灰产及其危害　20 2.1 诈骗类网站　20 2.1.1 投资理财类　21 2.1.2 贷款、代办信用卡类　24 2.1.3 刷单返利类　25 2.1.4 仿冒平台类　26 2.1.5 虚假交易类　29 2.1.6 虚假征信类　29 2.2 网络赌博类网站　30 2.3 低俗色情类网站　32 2.4 盗号钓鱼类网站　33 2.5 木马病毒类网站　34 2.6 盗版侵权类网站　35 2.7 恶意刷量类网站　36 2.8 虚假广告类网站　37 2.9 小结　38 第3部分 网址大数据治理与异常数据发现 第3章 网址数据治理与特征工程　40 3.1 网址基础数据　40 3.1.1 资源定位符信息　41 3.1.2 域名IP地址　42 3.1.3 Whois注册　42 3.1.4 ICP备案　43 3.1.5 Alexa排名　43 3.1.6 跳转关系　44 3.1.7 页面内容　45 3.2 网址数据治理　45 3.2.1 数据采集　46 3.2.2 数据清洗　46 3.2.3 数据存储　47 3.2.4 数据计算　48 3.3 网址特征工程　49 3.3.1 特征编码与嵌入　49 3.3.2 特征挖掘　50 3.3.3 特征评估　51 3.4 小结　52 第4章 网址异常检测体系　53 4.1 流量模型　54 4.2 传播渠道模型　55 4.3 网站行为模型　57 4.4 时间序列模型　59 4.5 网址关系链模型　60 4.6 小结　62 第4部分 网址反欺诈检测模型 第5章 网址结构检测模型　64 5.1 网页结构基础　64 5.1.1 网页核心构成　65 5.1.2 资源列表结构　69 5.1.3 网站目录结构　71 5.1.4 恶意代码片段　72 5.2 网页指纹算法流程　75 5.3 生成网页指纹　76 5.3.1 网页预处理　76 5.3.2 指纹生成算法的选型　78 5.4 构建异常指纹库　79 5.5 指纹相似度算法　81 5.6 小结　82 第6章 网址文本检测模型　83 6.1 网址文本数据　83 6.2 常见恶意网址文本　86 6.3 敏感词规则模型　88 6.3.1 敏感词发现　90 6.3.2 敏感词规则　91 6.4 文本聚类模型　92 6.4.1 恶意种子扩散案例　92 6.4.2 新型恶意网址发现案例　95 6.5 文本分类模型　97 6.5.1 文本二分类算法　99 6.5.2 文本多分类算法　101 6.6 小结　104 第7章 网址图像检测模型　105 7.1 图像提取与预处理　105 7.1.1 图像提取　106 7.1.2 图像预处理　109 7.1.3 图像数据集　111 7.2 图像分类模型　112 7.2.1 数据准备　112 7.2.2 模型训练　114 7.2.3 训练加速　117 7.2.4 预测与可解释性　118 7.3 图像相似度方法　119 7.3.1 相似度计算　120 7.3.2 扩散方法　121 7.3.3 检索方法　123 7.4 图像目标检测方法　124 7.4.1 模型训练　124 7.4.2 模型预测　126 7.5 小结　129 第8章 网址复杂网络检测模型　130 8.1 网址复杂网络的构建　130 8.1.1 网络的节点　130 8.1.2 网络的边　134 8.2 网址复杂网络的节点预测　138 8.2.1 预训练文本模型对网络节点的预测　139 8.2.2 预训练图像模型对网络节点的预测　140 8.2.3 预训练指纹模型对网络节点的预测　141 8.2.4 预训练DNN模型对网络节点的预测　142 8.2.5 预训练多模态模型对网络节点的预测　143 8.3 网址复杂网络的关系应用　144 8.3.1 归属与包含关系的应用　144 8.3.2 聚集关系的应用　145 8.3.3 引用关系的应用　147 8.3.4 跳转关系的应用　149 8.4 网址复杂网络的综合应用　151 8.4.1 图神经网络算法　151 8.4.2 社区划分算法　156 8.5 小结　158 第9章 网址多模态检测模型　159 9.1 特征融合　161 9.1.1 直接融合　161 9.1.2 无监督融合　164 9.1.3 有监督融合　167 9.2 决策融合　169 9.2.1 模型集成　169 9.2.2 分层筛选　170 9.3 协同训练　172 9.4 小结　174 第5部分 网址运营与情报体系 第 10章 网址运营体系　176 10.1 稳定性运营　177 10.1.1 在线服务　177 10.1.2 网址黑库　180 10.1.3 特征模型　181 10.2 防误报运营　182 10.2.1 白保护名单　182 10.2.2 防误报监控　184 10.2.3 自动化处置　185 10.3 用户反馈运营　186 10.3.1 网址申诉　187 10.3.2 网址举报　188 10.3.3 故障反馈　189 10.4 分级告警体系　190 10.5 小结　190 第 11章 网址知识情报挖掘及应用　191 11.1 黑灰产团伙资源情报挖掘　191 11.1.1 网址类资源挖掘　191 11.1.2 账号类资源挖掘　195 11.2 黑产入侵网站情报挖掘　196 11.2.1 HTML源文件分析法　196 11.2.2 网址关系链分析法　198 11.3 恶意网址服务商情报挖掘　200 11.3.1 内容服务商　200 11.3.2 支付服务商　201 11.4 小结　202