联邦学习 原理与算法

1. 联邦学习是目前人工智能领域较受重视的技术范式之一，谷歌、IBM、英伟达、腾讯等众多巨头入场，李开复力推； 2. 由平安科技联邦学习团队执笔，牵头作者为国内联邦学习推动者、平安科技副总工程师和技术部总经理王健宗博士； 3. 从基础知识出发，深入浅出的介绍了中央服务器优化和联邦机器学习的算法体系，适合大数据、人工智能行业从业者参考； 4. 广泛考虑工程实践，系统介绍联邦学习算法，中国科学院信息工程研究所提供加密理论方面支持，保障理论前沿性。

数据孤岛问题已经成为制约人工智能发展的主要阻碍。在此背景下,联邦学习（Federated Learning）作为一种新兴的机器学习技术范式,凭借其突出的隐私保护能力,展示出在诸多业务场景中的应用价值。本书从联邦学习的基础知识出发,深入浅出地介绍了中央服务器优化和联邦机器学习的算法体系,详细阐述了联邦学习中涉及的加密通信模块的相关知识,以定性和定量的双视角建立了联邦学习服务质量的评估维度、理论体系,还延伸介绍了提升联邦学习服务质量的方法,并对联邦学习的研究趋势进行了深入探讨与分析,可以对设计和选择算法提供工具式的参考和帮助。本书是高校、科研院所和业界相关学者研究联邦学习技术的理想读本,也适合大数据、人工智能行业的从业者和感兴趣的读者参考。

第1章绪论1
1．1人工智能的发展1
1．1．1人工智能的定义1
1．1．2人工智能的发展历史及现状2
1．1．3机器学习与数据3
1．2隐私保护浮出水面4
1．2．1隐私保护问题5
1．2．2隐私保护的攻击5
1．2．3常见的隐私保护技术7
1．3联邦学习的诞生8
1．3．1联邦学习的提出8
1．3．2联邦学习的范式9
1．3．3联邦学习的应用12
1．4本章小结13
第2章联邦学习基础15
2．1联邦学习的基本概念15
2．2联邦学习的发展历程17
2．3联邦学习的基本类别与流程18
2．3．1横向联邦学习18
2．3．2纵向联邦学习19
2．3．3联邦迁移学习19
2．3．4联邦强化学习20
2．4联邦学习的应用场景21
2．5本章小结21
第3章中央服务器优化算法23
3．1联邦随机梯度下降算法23
3．1．1算法框架及参数23
3．1．2目标函数24
3．1．3算法流程25
3．2联邦平均算法25
3．2．1算法框架及参数26
3．2．2目标函数27
3．2．3算法流程27
3．3差分隐私联邦随机梯度下降算法28
3．3．1算法框架及参数28
3．3．2相关函数说明29
3．3．3算法流程30
3．4差分隐私联邦平均算法31
3．4．1算法框架及参数31
3．4．2算法流程32
3．5基于损失的自适应提升联邦学习算法33
3．5．1算法框架及参数34
3．5．2算法流程35
3．6自平衡联邦学习算法36
3．6．1算法框架及参数36
3．6．2算法流程37
3．7联邦近端算法39
3．7．1算法框架及参数40
3．7．2模块介绍41
3．7．3算法流程42
3．8不可知联邦学习算法43
3．9基于概率的联邦网络匹配算法Ⅰ：单隐层神经网络匹配算法50
3．9．1算法框架及参数50
3．9．2模块介绍53
3．9．3算法流程56
3．10基于概率的联邦网络匹配算法Ⅱ：多隐层神经网络匹配算法57
3．10．1算法框架及参数57
3．10．2模块介绍59
3．10．3算法流程63
3．11联邦匹配平均算法64
3．11．1算法框架及参数64
3．11．2目标函数65
3．11．3算法流程66
3．12本章小结67
第4章联邦回归算法69
4．1联邦机器学习算法的定义69
4．1．1水平型分布数据70
4．1．2垂直型分布数据70
4．2线性回归70
4．2．1横向线性回归71
4．2．2纵向线性回归74
4．3逻辑回归80
4．3．1横向逻辑回归81
4．3．2纵向逻辑回归88
4．4本章小结96
第5章联邦分类算法97
5．1朴素贝叶斯分类法97
5．1．1贝叶斯定理97
5．1．2朴素贝叶斯分类的思想和工作过程97
5．1．3横向朴素贝叶斯分类98
5．1．4纵向朴素贝叶斯分类102
5．2支持向量机107
5．2．1横向支持向量机109
5．2．2纵向支持向量机116
5．3本章小结124
第6章联邦树模型125
6．1决策树125
6．1．1横向决策树126
6．1．2纵向决策树131
6．2XGBoost138
6．2．1参数及含义139
6．2．2加法同态140
6．2．3SecureBoost算法的流程140
6．3本章小结143
第7章联邦推荐算法145
7．1K均值算法145
7．1．1横向K均值聚类算法146
7．1．2纵向K均值聚类算法149
7．1．3任意数据K均值聚类算法158
7．1．4安全两方K均值聚类算法162
7．2因子分解机166
7．3基于近邻的协同过滤算法171
7．3．1基于近邻的传统协同过滤算法171
7．3．2基于用户的联邦协同过滤算法173
7．4基于矩阵的协同过滤算法178
7．4．1基于矩阵的传统协同过滤算法178
7．4．2基于矩阵的联邦协同过滤算法178
7．5矩阵分解算法186
7．5．1基于SGD的联邦矩阵分解算法186
7．5．2基于多视图的联邦矩阵分解算法190
7．5．3兴趣点推荐算法195
7．5．4基于差分隐私的联邦矩阵分解算法197
7．5．5基于混淆电路的联邦矩阵分解算法200
7．5．6基于相似度的联邦矩阵分解算法205
7．5．7基于因子分析的联邦矩阵分解算法209
7．5．8基于深度学习的联邦矩阵分解算法211
7．6本章小结213
第8章联邦学习系统的隐私与安全215
8．1问题描述与安全模型215
8．2联邦学习隐私保护技术216
8．2．1秘密共享216
8．2．2不经意传输218
8．2．3混淆电路220
8．2．4同态加密222
8．2．5差分隐私224
8．3联邦学习安全防护技术226
8．3．1密码算法226
8．3．2身份认证229
8．3．3通信安全231
8．3．4存储安全233
8．3．5可信计算235
8．4本章小结237
第9章联邦学习的服务质量239
9．1联邦学习服务质量的定义239
9．1．1联邦学习服务质量的由来239
9．1．2什么是联邦学习服务质量评估241
9．2联邦学习服务质量的评估维度242
9．2．1模型性能242
9．2．2数据传输效率243
9．2．3网络性能243
9．2．4计算资源
9．2．5联邦建模的鲁棒性
9．3联邦学习服务质量的理论体系
9．3．1模型性能的评价指标
9．3．2联邦学习的通信指标
9．3．3资源调度代价
9．3．4联邦建模的鲁棒性
9．3．5隐私保护技术的选取
9．3．6权值更新方法
9．4提升联邦学习服务质量的方法
9．4．1联邦学习的算法优化
9．4．2联邦学习的通信优化
9．4．3联邦学习的末位淘汰
9．4．4增强联邦学习系统的鲁棒性
9．5本章小结
第10章联邦学习的研究趋势
10．1联邦学习的优化研究
10．2联邦学习的安全和隐私研究
10．3联邦学习的应用领域研究
10．4本章小结
附录
附录ACholesky分解
附录BLDLT分解
附录C共轭梯度法
参考文献