联邦学习

如何在保证本地训练数据不公开的前提下，实现多个数据拥有者协同训练一个共享的机器学习模型？传统的机器学习方法需要将所有的数据集中到一个地方（例如，数据中心），然后进行机器学习模型的训练。但这种基于集中数据的做法无疑会严重侵害用户隐私和数据安全。如今，世界上越来越多的人开始强烈要求科技公司必须根据用户隐私法律法规妥善地处理用户的数据，欧盟的《通用数据保护条例》是一个很好的例子。在《联邦学习》中，我们将描述联邦学习（亦称联邦机器学习）如何将分布式机器学习、密码学、基于金融规则的激励机制和博弈论结合起来，以解决分散数据的使用问题。我们会介绍不同种类的面向隐私保护的机器学习解决方案以及技术背景，并描述一些典型的实际问题解决案例。我们还会进一步论述联邦学习将成为下一代机器学习的基础，可以满足技术和社会需求并促进面向安全的人工智能的开发和应用。
《联邦学习》可供计算机科学、人工智能和机器学习专业的学生，以及大数据和人工智能应用程序的开发人员阅读，也可供高等院校的教员、研究机构的研究人员、法律法规制定者和政府监管部门参考。

序言Ⅲ
前言Ⅳ
作者简介Ⅷ
第1章引言/1
1.1人工智能面临的挑战/2
1.2联邦学习概述/4
1.2.1联邦学习的定义/5
1.2.2联邦学习的分类/8
1.3联邦学习的发展/11
1.3.1联邦学习的研究/11
1.3.2开源平台/13
1.3.3联邦学习标准化进展/14
1.3.4联邦人工智能生态系统/15
第2章隐私、安全及机器学习/17
2.1面向隐私保护的机器学习/18
2.2面向隐私保护的机器学习与安全机器学习/18
2.3威胁与安全模型/19
2.3.1隐私威胁模型/19
2.3.2攻击者和安全模型/21
2.4隐私保护技术/22
2.4.1安全多方计算/22
2.4.2同态加密/27
2.4.3差分隐私/30
第3章分布式机器学习/35
3.1分布式机器学习介绍/36
3.1.1分布式机器学习的定义/36
3.1.2分布式机器学习平台/37
3.2面向扩展性的DML/39
3.2.1大规模机器学习/39
3.2.2面向扩展性的DML方法/40
3.3面向隐私保护的DML/43
3.3.1隐私保护决策树/43
3.3.2隐私保护方法/45
3.3.3面向隐私保护的DML方案/45
3.4面向隐私保护的梯度下降方法/48
3.4.1朴素联邦学习/49
3.4.2隐私保护方法/49
3.5挑战与展望/51
第4章横向联邦学习/53
4.1横向联邦学习的定义/54
4.2横向联邦学习架构/55
4.2.1客户-服务器架构/55
4.2.2对等网络架构/58
4.2.3全局模型评估/59
4.3联邦平均算法介绍/60
4.3.1联邦优化/60
4.3.2联邦平均算法/63
4.3.3安全的联邦平均算法/65
4.4联邦平均算法的改进/68
4.4.1通信效率提升/68
4.4.2参与方选择/69
4.5相关工作/69
4.6挑战与展望/71
第5章纵向联邦学习/73
5.1纵向联邦学习的定义/74
5.2纵向联邦学习的架构/75
5.3纵向联邦学习算法/77
5.3.1安全联邦线性回归/77
5.3.2安全联邦提升树/80
5.4挑战与展望/85
第6章联邦迁移学习/87
6.1异构联邦学习/88
6.2联邦迁移学习的分类与定义/88
6.3联邦迁移学习框架/90
6.3.1加法同态加密/93
6.3.2联邦迁移学习的训练过程/94
6.3.3联邦迁移学习的预测过程/95
6.3.4安全性分析/95
6.3.5基于秘密共享的联邦迁移学习/96
6.4挑战与展望/97
第7章联邦学习激励机制/99
7.1贡献的收益/100
7.1.1收益分享博弈/100
7.1.2反向拍卖/102
7.2注重公平的收益分享框架/103
7.2.1建模贡献/103
7.2.2建模代价/104
7.2.3建模期望损失/105
7.2.4建模时间期望损失/105
7.2.5策略协调/106
7.2.6计算收益评估比重/108
7.3挑战与展望/109
第8章联邦学习与计算机视觉、自然语言处理及推荐系统/111
8.1联邦学习与计算机视觉/112
8.1.1联邦计算机视觉/112
8.1.2业内研究进展/114
8.1.3挑战与展望/115
8.2联邦学习与自然语言处理/116
8.2.1联邦自然语言处理/116
8.2.2业界研究进展/118
8.2.3挑战与展望/118
8.3联邦学习与推荐系统/119
8.3.1推荐模型/120
8.3.2联邦推荐系统/121
8.3.3业界研究进展/123
8.3.4挑战与展望/12
第9章联邦强化学习/125
9.1强化学习介绍/126
9.1.1策略/127
9.1.2奖励/127
9.1.3价值函数/127
9.1.4环境模型/127
9.1.5强化学习应用举例/127
9.2强化学习算法/128
9.3分布式强化学习/130
9.3.1异步分布式强化学习/130
9.3.2同步分布式强化学习/131
9.4联邦强化学习/131
9.4.1联邦强化学习背景/131
9.4.2横向联邦强化学习/132
9.4.3纵向联邦强化学习/134
9.5挑战与展望/136
第10章应用前景/139
10.1金融/140
10.2医疗/141
10.3教育/142
10.4城市计算和智慧城市/144
10.5边缘计算和物联网/146
10.6区块链/147
10.7第五代移动网路/148
第11章总结与展望/149
附录A数据保护法律和法规/151
A.1欧盟的数据保护法规/152
A.1.1GDPR中的术语/153
A.1.2GDPR重点条款/154
A.1.3GDPR的影响/156
A.2美国的数据保护法规/157
A.3中国的数据保护法规/158
参考文献/161