深度学习入门

?从基础开始，通过理论简单明了地阐述了人工智能的基本原理?从数理角度进行了明确阐释，并对编入的*新复杂内容作了详尽的说明?选取了一些基础的重要话题实例，并且全面细致地进行了解析?强调系统性、通俗性的同时，又具有较强的前瞻性，并且对所介绍的问题都给出了详尽的分析和数学推导

深度学习是机器学习研究中的一个活跃领域，本书的宗旨在于为深度机器学习的初学者提供一本通俗易懂、内容全面、理论深入的学习教材。本书的内容大体可以分为机器学习基础、顺序传播神经网络的深度学习、玻尔兹曼机和深度强化学习四个部分，既考虑了通俗性和完整性，又介绍了深度学习的各个方面。其中机器学习基础部分介绍了神经网络、机器学习与深度学习的数学基础、典型任务、数据集等；顺序传播神经网络的深度学习部分介绍了梯度下降法的机器学习、深度学习的正则化、误差反向传播法、自编码器、卷积神经网络以及循环神经网络等；玻尔兹曼机部分对图模型神经网络的机器学习进行了深入的介绍；深度强化学习部分则重点介绍了强化学习中的深度神经网络学习的理论和方法。通过本书的学习，读者可以快速了解机器学习的全貌，同时在理论上对其模型和方法进行深入分析和理解，从而为实际的开发打下深厚的理论基础，为技术创新提供具有启发性的方向和路径。

译者序
原书序
原书前言
第1章 绪论 1
第2章 机器学习与深度学习 3
2.1 为什么要进行深度学习 3
2.2 什么是机器学习 4
2.2.1 典型任务 4
2.2.2 形式各异的数据集 5
2.3 统计学基础 6
2.3.1 样本和估计 7
2.3.2 点估计 8
2.3.3 极大似然估计 11
2.4 机器学习基础 12
2.5 特征学习与深度学习的进展 23
2.5.1 特征学习 23
2.5.2 深度学习的出现 24
第3章 神经网络 26
3.1 神经细胞网络 26
3.2 形式神经元 27
3.3 感知器 29
3.3.1 由形式神经元到感知器 29
3.3.2 感知器与马文·明斯基 （Marvin Lee Minsky） 30
3.4 顺序传播神经网络的组成 31
3.5 神经网络的机器学习 35
3.5.1 回归 35
3.5.2 二元分类 36
3.5.3 多元分类 37
3.6 激活函数 37
3.6.1 sigmoid函数及其变体 38
3.6.2 正则化线性函数 38
3.6.3 maxout 39
3.7 为什么深度学习是重要的 40
第4章 基于梯度下降法的机器学习 41
4.1 梯度下降法 41
4.2 改进的梯度下降法 46
4.2.1 梯度下降法的问题 46
4.3 权重参数初始值的选取方法 53
4.4 训练预处理 55
4.4.1 数据的规格化 55
4.4.2 数据的白化 55
4.4.3 图像数据的局部对比度
第5章 深度学习的正则化 59
5.1 泛化性能与正则化 59
5.1.1 泛化误差与过度学习 59
5.1.2 正则化 61
5.2 权重衰减 62
5.3 早期终止 63
5.4 权重共享 65
5.5 数据扩增与噪声注入 65
5.6 bagging算法 66
5.7 dropout 67
5.8 深度表示的稀疏化 72
5.9 批量规格化 72
5.9.1 内部协变量移位 72
5.9.2 批量规格化 73
第6章 误差反向传播法 74
6.1 Perceptron（感知器）和delta 学习规则 74
6.2 误差反向传播法 76
6.3 误差反向传播法的梯度快速计算 82
6.4 梯度消失与参数爆炸及其对策 84
6.4.1 预学习 85
6.4.2 ReLU函数 85
第7章 自编码器 87
7.1 数据压缩与主成分分析 87
7.2 自编码器基础及应用 90
7.3 稀疏自编码器 93
7.4 堆栈式自编码器及预学习 97
7.5 降噪自编码器 98
7.6 压缩式自编码器 99
7.6.1 压缩式自编码器流形学习 99
7.6.2 与其他自编码器的关系 100
第8章 卷积神经网络 101
8.1 一次视觉功能和卷积 101
8.1.1 黑贝尔和威杰尔的层假说 101
8.1.2 神经网络与卷积
8.2 卷积神经网络 104
8.3 CNN的误差反向传播法 112
8.4 完成学习的模型和迁移学习 114
8.5 CNN会捕捉到哪些模式 114
8.6 反卷积网络 * 115
8.7 Inception组件 * 116
第9章 循环神经网络 117
9.1 时间序列数据 117
9.2 循环神经网络 118
9.3 机器翻译的应用 123
9.4 RNN的问题 123
9.5 长短时记忆 124
9.6 循环神经网络与自然语言的处理 * 130
第10章 玻尔兹曼机 133
10.1 图模型与概率推论 133
10.1.1 有向图模型 * 133
10.1.2 无向图模型 * 136
10.2 有/无隐性变量的玻尔兹曼机 139
10.3 玻尔兹曼机的学习及计算量的爆发 142
10.4 吉布斯采样和玻尔兹曼机 150
10.5 平均场近似 159
10.6 受限玻尔兹曼机 162
10.7 对比散度法及其理论 167
10.8 深度信念网络 175
10.9 深度玻尔兹曼机 181
第11章 深度强化学习 188
11.1 强化学习 188
11.2 近似函数与深度Q网络 197
11.2.1 Q学习与近似函数 197
11.2.2 深度Q学习 199
11.3 雅达利游戏和DQN 201
11.4 策略学习 203
11.4.1 基于梯度上升法的策略学习 203
11.4.2 策略梯度定理的证明 205
11.5 AlphaGo 205
附录 210
附录A 概率基础 210
A.1 随机变量和概率分布 210
A.2 连续随机变量和概率密度函数 212
A.3 期望值与方差 214
A.4 信息量与散度 215
附录B 变分法 217
B.1 泛函数 217
B.2 欧拉·拉格朗日方程式 217
参考文献 219