密态深度学习

本书立足于安 全计算理论，从安 全的角度构造典 型的安 全深度学习模型，核心部分全部以作者新研究成果作为支撑，具有明显的创新性，这个也是区别于其他书籍的亮点。 以密态深度学习为核心的，以安 全计算理论和密码学为基础，从深度学习模型构造安 全和深度学习模型内在安 全两方面进行系统介绍。

密态深度学习可以在不解密加密数据的前提下对授权用户提供深度学习服务，并可防止非授权用户对授权用户的数据进行窃取与利用。该技术突破了密态数据无法在非可信环境下被有效利用的技术瓶颈，实现了“安 全学习，万物互联”。本书从大数据、人工智能面临的隐私挑战出发，以密态深度学习理论框架与技术方法研究为主线，从理论模型到实际应用，系统阐述了密态深度学习的理论与技术。密态深度学习能够随时随地对密态数据进行安 全分析，充分利用加密信息资源，实现“服务在云端，信息随心行”的理想状态。本书可为密码学、人工智能安 全、大数据安 全相关科研人员和企业研发人员提供参考，可以作为网络空间安 全一级学科博士生、硕士生的重要参考书，也可以作为计算机相关专业高年级本科生的补充读物。

刘西蒙 福州大学研究员、博士生导师，福州大学数学与计算机科学学院院长助理，系统信息安 全福建省高校重点实验室主任，福建省知联会理事，福建省“闽江学 者”特聘教授，福建省引进高层次人才(C类)，IEEE/ACM/CCF会员。主要从事密态计算、密态机器学习、大数据隐私保护、区块链，可搜索加密、公钥密码学应用等方面的研究工作；先后主持和参与国家自然科学基金项目5项(含重点项目一项)；已在国内外期刊、会议上发表SCI/EI学术论文250余篇，Google被引3300余次；申请国家发明专利4项。 熊金波 福建师范大学教授、博士生导师，中国中文信息学会大数据安 全与隐私计算专委会委员，福建省计算机学会理事，福建省高校杰出青年科研人才，福建师范大学第七届十佳青年教师，IEEE/ACM/CCF会员；获福建师范大学本科课堂教学优 秀奖和第 二届集英助教基金教学奖；主要从事物联网安 全与隐私保护、移动数据安 全等方面的研究工作；先后主持国家自然科学基金项目2项，福建省自然科学基金项目2项，福建省本科高校教育教学改革研究项目一项，作为主要成员参与国家重点研发计划、国家863计划等项目的研究；出版学术专著2部、教材一部；已在国内外期刊会议上发表SCI/EI学术论文一百余篇，ESI高被引论文3篇，Google被引一千一百余次；申请国家发明专利十三项、授权3项。

第1章绪论1
1．1大数据1
1．1．1引言1
1．1．2概念1
1．1．3发展与应用2
1．1．4大数据关键技术4
1．2数据挖掘6
1．2．1引言6
1．2．2概念7
1．2．3发展与应用7
1．2．4数据挖掘相关技术8
1．3人工智能9
1．3．1引言9
1．3．2概念9
1．3．3发展与应用10
1．3．4人工智能关键技术11
1．4数据安全与网络安全13
1．4．1引言13
1．4．2概念13
1．4．3面临的威胁14
1．4．4安全技术15
1．5数据挖掘面临的隐私问题17
1．5．1数据的过度采集17
1．5．2个人信息的滥用17
1．5．3数据的融合问题17
1．6人工智能面临的隐私问题18
1．6．1数据泄露带来的隐私风险18
1．6．2人工智能算法引发的隐私风险18
1．6．3人工智能的发展导致的安全威胁19
1．6．4模型提取攻击导致的安全威胁19
1．7本章小结19
第2章基础知识22
2．1深度学习22
2．1．1AdaBoost22
2．1．2XGBoost24
2．1．3联邦学习25
2．1．4全连接神经网络28
2．1．5深度神经网络29
2．1．6卷积神经网络31
2．1．7递归神经网络33
2．2同态加密37
2．2．1群、环、域37
2．2．2公钥密码体制的困难问题40
2．2．3加法同态Paillier算法41
2．2．4乘法同态RSA算法42
2．2．5全同态加密算法43
2．3基于安全多方计算的密态计算44
2．3．1基于秘密共享的密态计算44
2．3．2基于混淆电路的密态计算46
2．4基于可信执行环境的密态计算46
2．5差分隐私47
2．6本章小结49
第3章基于AdaBoost的密态计算54
3．1背景介绍54
3．2研究现状55
3．3问题描述56
3．3．1系统模型56
3．3．2攻击模型57
3．4基于秘密共享的安全协议57
3．4．1数据存储格式58
3．4．2指数的安全匹配58
3．4．3改进的安全自然指数协议59
3．4．4改进的安全自然对数协议60
3．5模型构造61
3．5．1AdaBoost的FSA62
3．5．2弱分类器的线性加法64
3．5．3多分类扩展65
3．6理论分析66
3．6．1POR的正确性分析66
3．6．2POR的安全性分析67
3．7性能评估68
3．7．1POR的性能68
3．7．2改进的安全自然指数协议和安全自然对数协议的性能71
3．8本章小结74
第4章联邦极端梯度增强的密态计算76
4．1背景介绍76
4．2研究现状77
4．3问题描述78
4．3．1系统模型78
4．3．2安全模型79
4．4模型构造80
4．4．1FEDXGB概述80
4．4．2SecAgg81
4．4．3SecBoost82
4．4．4SecFind84
4．4．5用户退出的鲁棒性85
4．5安全性分析85
4．5．1SecAgg的安全性85
4．5．2FEDXGB的安全性86
4．6性能评估87
4．6．1实验配置88
4．6．2FEDXGB性能评估88
4．6．3SecAgg效率分析89
4．7本章小结92
第5章隐私保护联邦K-means95
5．1背景介绍95
5．2研究现状97
5．3问题描述98
5．3．1系统模型99
5．3．2安全模型100
5．4模型构建100
5．4．1PFK-means概述100
5．4．2PFK-means方案102
5．4．3安全系统设置104
5．4．4簇心更新105
5．5理论分析110
5．5．1复杂度分析110
5．5．2安全分析111
5．6性能评估113
5．6．1实验设置113
5．6．2效用评估113
5．6．3实验分析114
5．6．4安全性和实用性比较116
5．7本章小结117
第6章基于同态加密的密态神经网络训练121
6．1背景介绍121
6．2研究现状123
6．3问题描述124
6．3．1系统模型124
6．3．2安全模型125
6．4HNN方案构造125
6．4．1全连接层126
6．4．2ReLU层127
6．4．3Softmax层127
6．4．4安全反向传播128
6．5安全性分析130
6．6性能评估131
6．7本章小结134
第7章基于卷积神经网络的密态计算137
7．1背景介绍137
7．2研究现状138
7．3问题描述139
7．3．1系统模型139
7．3．2安全模型141
7．3．3设计目标141
7．4模型构造141
7．4．1安全加减法协议142
7．4．2安全乘法协议142
7．4．3安全比较协议143
7．4．4矢量化146
7．4．5面向移动感知的轻量级隐私保护卷积神经网络特征提取146
7．5理论分析151
7．5．1正确性151
7．5．2安全性152
7．5．3有效性153
7．6性能评估154
7．6．1安全比较协议的性能154
7．6．2面向移动感知的轻量级隐私保护卷积神经网络特征提取的性能155
7．7本章小结159
第8章基于LSTM网络的密态计算163
8．1背景介绍163
8．2研究现状164
8．3问题描述165
8．3．1系统模型165
8．3．2安全模型166
8．4模型构造166
8．4．1基于秘密共享的安全函数166
8．4．2面向加密音频特征的隐私保护LSTM网络171
8．5理论分析179
8．5．1OPSR的正确性179
8．5．2OPSR的安全性180
8．6性能评估181
8．6．1OPSR的性能181
8．6．2保密LSTM网络交互协议的性能184
8．7本章小结186