大数据安全治理与防范——流量反欺诈实战

1. 市面上新出的有关流量安全的业务实战级的指导图书。 2. 本书来自于互联网一线大厂多年来流量反欺诈对抗风控经验总结，带领读者深入了解流量安全全貌。 3. 本书对技术的讲解融入在真实业务对抗场景中，更具独特性和实操性。 4. 基于《大数据治理与防范——反欺诈体系建设》（豆瓣9.2分）的基础理论体系，帮助读者建立大数据安全思维，手把手教读者搭建大数据安全场景下的流量反欺诈系统。

互联网的快速发展方便用户传递和获取信息，也催生了大量线上的犯罪活动。在互联网流量中，黑灰产通过多种欺诈工具和手段来牟取暴利，包括流量前期的推广结算欺诈、注册欺诈和登录欺诈，流量中期的“薅羊毛”欺诈、刷量欺诈和引流欺诈，流量后期的电信诈骗、资源变现欺诈等。这些流量欺诈行为给互联网用户和平台方造成了巨大的利益损失，因此为了保护互联网平台健康发展和用户上网安全，必须加大对欺诈流量的打击力度。本书主要介绍恶意流量的欺诈手段和对抗技术，分为?5?个部分，共12章。针对流量反欺诈这一领域，先讲解流量安全基础；再基于流量风险洞察，讲解典型流量欺诈手段及其危害；接着从流量数据治理层面，讲解基础数据形态、数据治理和特征工程；然后重点从设备指纹、人机验证、规则引擎、机器学习对抗、复杂网络对抗、多模态集成对抗和新型对抗等方面，讲解流量反欺诈技术；最后通过运营体系与知识情报来迭代和优化流量反欺诈方案。本书将理论与实践相结合，能帮助读者了解和掌握流量反欺诈相关知识体系，也能帮助读者培养从0到1搭建流量反欺诈体系的能力。无论是信息安全从业人员，还是有意在大数据安全方向发展的高校学生，都会在阅读中受益匪浅。

张凯，现任腾讯专家工程师。一直从事大数据安全方面的工作，积累了10多年的黑灰产对抗经验，主要参与过游戏安全对抗、业务防刷、金融风控和反诈骗对抗系统等项目。 周鹏飞，现任腾讯高级工程师。主要从事大数据安全方面的工作，积累了多年黑灰产对抗经验，参与过游戏安全对抗、金融风控、业务防刷、广告反作弊、电信反诈和风险情报等项目。 杨泽，现任腾讯研究员。主要从事金融风控、黑灰产对抗等业务安全工作。 郝立扬，现任腾讯研究员。主要从事反诈骗、反赌博等业务安全工作。 熊奇，现任腾讯专家工程师。一直从事业务安全方面的工作，先后参与过反诈骗、App安全、金融反诈、安全大数据合规与业务风控等项目，积累了15年的黑灰产对抗和安全系统架构的经验。

第1部分流量安全基础
第1章绪论2
1.1互联网流量的发展历程2
1.1.1PC互联网时代3
1.1.2移动互联网时代4
1.1.3云计算和大数据时代5
1.2大数据时代的流量欺诈问题6
1.3大数据时代的流量反欺诈挑战7
1.3.1监管层面7
1.3.2行业层面8
1.3.3业务层面8
1.4流量反欺诈系统的架构9
1.4.1流量反欺诈方案的演变历程9
1.4.2流量反欺诈系统的架构11
1.5小结13
第2部分流量风险洞察x
第2章流量欺诈手段及其危害16
2.1流量前期欺诈17
2.1.1推广结算欺诈17
2.1.2注册欺诈21
2.1.3登录欺诈22
2.2流量中期欺诈24
2.2.1“薅羊毛”欺诈24
2.2.2刷量欺诈25
2.2.3引流欺诈27
2.3流量后期欺诈30
2.3.1电信诈骗30
2.3.2资源变现欺诈31
2.4欺诈收益分析33
2.5小结34
第3部分流量数据治理
第3章流量数据治理和特征工程36
3.1基础数据形态36
3.1.1流量前期数据37
3.1.2流量中期数据37
3.1.3流量后期数据39
3.1.4流量数据特性对比40
3.2数据治理41
3.2.1数据采集41
3.2.2数据清洗42
3.2.3数据存储43
3.2.4数据计算44
3.3特征工程45
3.3.1特征构建45
3.3.2特征评估与特征选择46
3.3.3特征监控48
3.4小结49
第4部分流量反欺诈技术
第4章设备指纹技术52
4.1设备指纹的价值52
4.2技术原理54
4.2.1基础概念54
4.2.2发展历程55
4.2.3生成方式56
4.3技术实现方案58
4.3.1评估指标58
4.3.2构建特征59
4.3.3生成算法60
4.4小结64
第5章人机验证65
5.1人机验证基础65
5.1.1验证码的诞生65
5.1.2验证码的应用场景66
5.1.3验证码的构建框架67
5.2基础层面的攻防68
5.3设计层面的攻防69
5.3.1字符验证码70
5.3.2行为验证码73
5.3.3新型验证码75
5.4小结77
第6章规则引擎78
6.1风险名单78
6.1.1风险名单基础78
6.1.2风险名单的攻防演进79
6.1.3风险名单上线和运营80
6.2通用规则82
6.2.1IP策略的攻防演进83
6.2.2设备策略的攻防演进87
6.2.3账号策略的攻防演进90
6.3业务定制规则94
6.3.1规则智能预处理模块95
6.3.2规则智能构建模块96
6.3.3规则智能筛选模块96
6.3.4其他模块97
6.4小结97
第7章机器学习对抗方案98
7.1无样本场景99
7.1.1传统统计检验方案101
7.1.2无监督学习方案102
7.2单样本场景104
7.2.1传统半监督学习方案105
7.2.2行为序列学习方案107
7.3多样本场景112
7.3.1二分类模型与回归模型113
7.3.2可解释性判别场景114
7.3.3集成模型117
7.4小结122
第8章复杂网络对抗方案123
8.1流量前期方案124
8.1.1单维资源聚集的团伙检测125
8.1.2多维资源聚集的团伙检测129
8.2流量中期方案133
8.2.1结构相似性团伙检测134
8.2.2欺诈资源家族检测138
8.3流量后期方案141
8.4小结145
第9章多模态集成对抗方案146
9.1多模态数据来源147
9.1.1关系图谱信息147
9.1.2文本信息148
9.1.3图像信息149
9.1.4其他模态信息149
9.2多模态融合方案150
9.2.1数据层融合151
9.2.2特征层融合152
9.2.3决策层融合154
9.2.4混合融合方案156
9.3小结157
第10章新型对抗方案158
10.1联邦学习158
10.1.1联邦学习框架159
10.1.2异常流量的检测效果161
10.2知识蒸馏162
10.2.1知识蒸馏框架162
10.2.2异常流量检测的步骤164
10.2.3异常流量检测的效果164
10.3小结165
第5部分运营体系与知识情报
第11章运营体系168
11.1稳定性运营169
11.1.1服务稳定性171
11.1.2数据稳定性173
11.2防误报处理175
11.2.1疑似白名单176
11.2.2自动化运营177
11.3用户反馈处理177
11.3.1用户申诉处理178
11.3.2用户举报处理179
11.4告警处理体系179
11.5小结181
第12章知识情报挖掘与应用182
12.1黑灰产团伙情报挖掘183
12.1.1“薅羊毛”情报184
12.1.2水军刷评论情报187
12.2黑灰产行为模式情报挖掘189
12.2.1短视频平台养号189
12.2.2广告点击欺诈191
12.3黑灰产价格情报挖掘193
12.4小结194