深度学习架构与实践

本书以具体的实际案例为场景，从架构和实践两个方面，将基础理论和实际应用相结合，随书提供配套丰富的源代码和课件下载，帮助读者快速实现入门到进阶。书中内容讲述了深度学习架构与实践，共分为两个部分，第1部分（即第1~6章）为基础理论，主要对深度学习的理论知识进行了详细的讲解；第2部分（即第7~12章）为应用实践，以具体的实际案例为场景，通过理论和实践相结合的讲解方式使读者能够对深度学习技术有更好的理解。本书可以为读者提供一条轻松、快速入门深度学习的路径，有侧重地阐明深度学习的经典知识和核心要点，从架构和实践两个方面，让读者对深度学习的系统架构和若干领域的应用实践有清晰和深入的掌握。

本书讲述了深度学习架构与实践，共分为两个部分，第1部分（即第1～6章）为基础理论，主要对深度学习的理论知识进行了详细的讲解；第2部分（即第7～12章）为应用实践，以具体的实际案例为场景，通过理论和实践相结合的讲解方式使读者能够对深度学习技术有更好的理解。本书可以为读者提供一条轻松、快速入门深度学习的路径，有侧重地阐明深度学习的经典知识和核心要点，从架构和实践两个方面，让读者对深度学习的系统架构和若干领域的应用实践有清晰和深入的掌握。本书适合计算机软件相关专业的高年级本科生或研究生，以及所有想要学习深度学习或从事计算机视觉算法开发的读者阅读。

前言
绪论1
第1章 深度学习的架构8
1.1如何区分人工智能、机器学习、深度学习8
1.1.1人工智能：从概念提出到走向繁荣8
1.1.2机器学习：一种实现人工智能的方法9
1.1.3深度学习：一种实现机器学习的技术9
1.1.4人工智能、机器学习和深度学习的关系9
1.2深度学习的发展历史及研究现状10
1.2.1深度学习的发展历史10
1.2.2深度学习的研究现状11
1.3深度学习的基本内容及理论基础13
1.3.1深度学习的基本内容13
1.3.2深度学习的理论基础15
1.4深度学习的发展趋势与未来15
1.4.1深度学习的发展趋势15
1.4.2深度学习的未来16
第2章 深度学习相关数学基础17
2.1线性代数17
2.1.1标量、向量、矩阵和张量17
2.1.2矩阵和向量相乘18
2.1.3单位矩阵和逆矩阵19
2.1.4线性相关和生成子空间19
2.1.5范数21
2.1.6特殊类型的矩阵和向量22
2.1.7特征分解23
2.1.8奇异值分解24
2.1.9Moore-Penrose伪逆25
2.1.10迹运算25
2.1.11行列式26
2.1.12主成分分析26
2.2概率论与信息论29
2.2.1随机试验、频率与概率、随机变量29
2.2.2随机变量的分布情况30
2.2.3二维随机变量31
2.2.4期望、方差、协方差、相关系数33
2.2.5常用的概率分布34
2.2.6常用函数的有用性质37
2.2.7连续型变量的技术细节39
2.2.8信息论40
2.2.9结构化概率模型41
2.3拟合、梯度下降与传播43
2.3.1过拟合和欠拟合43
2.3.2随机梯度下降44
2.3.3正向传播与反向传播47
第3章 神经网络的架构48
3.1神经网络与神经元48
3.2深度神经网络的概念与结构49
3.2.1深度神经网络的概念49
3.2.2深度神经网络的结构49
3.3深度神经网络的分类50
3.3.1前馈深度网络50
3.3.2反馈深度网络51
3.3.3双向深度网络51
3.4自动编码器与玻尔兹曼机51
3.4.1自动编码器51
3.4.2玻尔兹曼机52
第4章 卷积神经网络53
4.1卷积神经网络的概念53
4.2卷积神经网络的基本结构54
4.2.1卷积层55
4.2.2池化层56
4.2.3全连接层56
4.3非线性层与激活函数57
4.3.1Sigmoid激活函数57
4.3.2Tanh函数59
4.3.3Relu函数60
4.4感受野与权值共享61
4.4.1局部感受野61
4.4.2权值共享61
4.5卷积神经网络与反卷积神经网络62
4.5.1卷积神经网络及其特点62
4.5.2反卷积神经网络及其特点63
4.6卷积神经网络的训练63
第5章 循环神经网络64
5.1RNN的概念64
5.2RNN的结构64
5.3RNN的训练65
5.3.1反向传播算法的原理65
5.3.2反向传播算法的步骤65
5.4RNN的实现71
5.4.1梯度爆炸与梯度消失71
5.4.2基于RNN的语言模型例子71
5.4.3语言模型训练过程73
5.5RNN的发展74
5.5.1双向循环神经网络74
5.5.2长短时记忆结构75
第6章 生成对抗网络776.1GAN的概念77
6.1.1对抗思想与GAN77
6.1.2似然估计及化问题79
6.1.3GAN的训练过程81
6.2GAN的原理82
6.2.1生成器82
6.2.2判别器83
6.3GAN的应用84
6.4GAN的发展85
6.4.1GAN的优缺点85
6.4.2GAN的未来发展方向86
第7章 Python相关基础877.1Python程序结构87
7.1.1循环结构87
7.1.2分支结构89
7.2NumPy操作90
7.2.1NumPy的主要特点91
7.2.2ndarray91
7.2.3NumPy-数据类型94
7.2.4NumPy-数组属性94
7.2.5NumPy-数组创建例程96
7.2.6NumPy-切片和索引98
7.2.7NumPy-字符串函数99
7.2.8NumPy-算数函数100
7.2.9NumPy-算数运算100
7.2.10NumPy-统计函数101
7.2.11NumPy-排序、搜索和计数函数102
7.2.12NumPy-字节交换103
7.2.13NumPy-副本和视图103
7.2.14NumPy-矩阵库104
7.2.15NumPy-线性代数105
7.3函数105
7.3.1Python中函数的应用105
7.3.2Python函数的定义107
7.3.3Python函数的调用108
7.3.4为函数提供说明文档109
7.4第三方资源110
第8章 TensorFlow、Theano、Caffe的框架与安装113
8.1TensorFlow的框架与安装113
8.1.1TensorFlow的简介113
8.1.2TensorFlow的架构113
8.1.3TensorFlow的特点114
8.1.4TensorFlow的安装114
8.2Theano的框架与安装118
8.2.1Theano的简介118
8.2.2Theano的安装119
8.3Caffe的架构与安装121
8.3.1Caffe的简介121
8.3.2Caffe的安装122
第9章 TensorFlow、Theano、Caffe的原理及应用124
9.1TensorFlow的原理及应用124
9.1.1TensorFlow的工作原理124
9.1.2TensorFlow的简单应用126
9.1.3TensorFlow的复杂应用129
9.2Theano的基本语法及应用145
9.2.1Theano的基本语法145
9.2.2Theano在Windows下的常用实例149
9.2.3用Theano来编写一个简单的神经网络154
9.3Caffe的结构、写法及应用157
9.3.1Caffe的结构157
9.3.2Caffe的写法157
9.3.3Caffe的训练与测试167
第10章 手写数字识别实例177
10.1字符识别的意义177
10.2字符识别的设计与实现177
10.2.1实验简介177
10.2.2实验环境搭建178
10.3单层神经网络搭建178
10.3.1网络搭建过程178
10.3.2梯度下降180
10.4多层神经网络搭建183
10.4.1Sigmoid激活函数184
10.4.2Relu激活函数184
10.4.3衰减学习率187
10.4.4添加dropout解决过拟合现象188
10.5卷积神经网络190
第11章 自动生成图像描述实例195
11.1自动生成图像描述的目标195
11.2自动生成图像描述的设计198
11.3语言生成模型201
11.4自动生成图像描述的实现203
11.5实验结果及分析221
第12章 唇语识别实例225
12.1唇语识别技术的目标225
12.2特征提取225
12.2.1CNN的唇部视觉特征提取225
12.2.2RNN的时序特征提取226
12.2.3特征分类算法SVM、KNN、Softmax228
12.3唇语识别模型网络架构230
12.3.1抽取视频帧算法与视频唇部区域定位230
12.3.2图像特征提取网络架构233
12.3.3基于注意力机制的时间特征提取架构234
12.3.4唇语识别模型与整体识别流程235
12.4实验结果及分析239
12.4.1数据集与预处理239
12.4.2实验结果239
12.4.3可视化分析242
参考文献246