深度学习从0到1

深度学习是人工智能研究领域中一个极其重要的方向。本书是一本介绍深度学习理论与实战应用的教程。从深度学习的发展历史、单层感知器、线性神经网络、BP神经网络一直介绍到深度学习算法——卷积神经网络和长短时记忆网络，并从图像、自然语言处理和音频信号三方面分别介绍了深度学习算法的实际应用。案例实战部分使用的深度学习框架为Tensorflow2/KeraS。本书内容全面，结构清晰，通俗易懂，既可作为深度学习/人工智能技术爱好者或相关工作人员的基础教材，也可以作为高校相关专业的教材。

 

第1章 深度学习背景介绍1
1.1 人工智能1
1.2 机器学习3
1.2.1 训练数据、验证数据和测试数据4
1.2.2 学习方式4
1.2.3 机器学习常用算法5
1.3 人工智能、机器学习、神经网络及深度学习之间的关系10
1.4 深度学习的应用11
1.5 神经网络和深度学习的发展史16
1.5.1 神经网络的诞生：20世纪40年代到20世纪60年代16
1.5.2 神经网络的复兴：20世纪80年代到20世纪90年代17
1.5.3 深度学习：2006年至今17
1.6 深度学习领域中的重要人物18
1.7 新一轮人工智能爆发的三要素19
1.8 参考文献19
第2章 搭建Python编程环境21
2.1 Python介绍21
2.2 Anaconda安装21
2.3 Jupyter Notebook的简单使用25
2.3.1 启动Jupyter Notebook26
2.3.2 修改Jupyter Notebook默认启动路径26
2.3.3 Jupyter Notebook浏览器无法打开28
2.3.4 Jupyter Notebook基本操作28
第3章 单层感知器与线性神经网络31
3.1 生物神经网络31
3.2 单层感知器32
3.2.1 单层感知器介绍32
3.2.2 单层感知器计算举例32
3.2.3 单层感知器的另一种表达形式33
3.3 单层感知器的学习规则33
3.3.1 单层感知器的学习规则介绍33
3.3.2 单层感知器的学习规则计算举例34
3.4 学习率37
3.5 模型的收敛条件38
3.6 模型的超参数和参数的区别38
3.7 单层感知器分类案例39
3.8 线性神经网络42
3.8.1 线性神经网络介绍42
3.8.2 线性神经网络分类案例42
3.9 线性神经网络处理异或问题45
第4章 BP神经网络50
4.1 BP神经网络介绍及发展背景50
4.2 代价函数51
4.3 梯度下降法51
4.3.1 梯度下降法介绍51
4.3.2 梯度下降法二维例子53
4.3.3 梯度下降法三维例子55
4.4 Delta学习规则56
4.5 常用激活函数讲解56
4.5.1 sigmoid函数57
4.5.2 tanh函数57
4.5.3 softsign函数58
4.5.4 ReLU函数59
4.6 BP神经网络模型和公式推导61
4.6.1 BP网络模型62
4.6.2 BP算法推导63
4.6.3 BP算法推导的补充说明65
4.7 BP算法推导结论总结67
4.8 梯度消失与梯度爆炸67
4.8.1 梯度消失67
4.8.2 梯度爆炸69
4.8.3 使用ReLU函数解决梯度消失和梯度爆炸的问题69
4.9 使用BP神经网络解决异或问题70
4.10 分类模型评估方法74
4.10.1 准确率/准确率/召回率/F1值74
4.10.2 混淆矩阵77
4.11 独热编码77
4.12 BP神经网络完成手写数字识别78
4.13 Sklearn手写数字识别83
4.14 参考文献84
第5章 深度学习框架Tensorflow基础使用85
5.1 Tensorflow介绍86
5.1.1 Tensorflow简介86
5.1.2 静态图和动态图机制Eager Execution86
5.1.3 tf.keras87
5.2 Tensorflow-cpu安装88
5.2.1 Tensorflow-cpu在线安装88
5.2.2 安装过程中可能遇到的问题89
5.2.3 Tensorflow-cpu卸载91
5.2.4 Tensorflow-cpu更新91
5.2.5 Tensorflow-cpu指定版本的安装91
5.3 Tensorflow-gpu安装91
5.3.1 Tensorflow-gpu了解近期新版本情况91
5.3.2 Tensorflow-gpu安装CUDA92
5.3.3 Tensorflow-gpu安装cuDNN库94
5.3.4 Tensorflow-gpu在线安装95
5.3.5 Tensorflow-gpu卸载95
5.3.6 Tensorflow-gpu更新95
5.4 Tensorflow基本概念95
5.5 Tensorflow基础使用96
5.6 手写数字图片分类任务100
5.6.1 MNIST数据集介绍100
5.6.2 softmax函数介绍101
5.6.3 简单MNIST数据集分类模型——没有高级封装101
5.6.4 简单MNIST数据集分类模型——keras高级封装104
第6章 网络优化方法106
6.1 交叉熵代价函数106
6.1.1 均方差代价函数的缺点106
6.1.2 引入交叉熵代价函数109
6.1.3 交叉熵代价函数推导过程109
6.1.4 softmax与对数似然代价函数110
6.1.5 交叉熵程序112
6.2 过拟合114
6.2.1 什么是过拟合114
6.2.2 抵抗过拟合的方法117
6.3 数据增强117
6.4 提前停止训练119
6.5 Dropout121
6.5.1 Dropout介绍121
6.5.2 Dropout程序123
6.6 正则化125
6.6.1 正则化介绍125
6.6.2 正则化程序126
6.7 标签平滑129
6.7.1 标签平滑介绍129
6.7.2 标签平滑程序130
6.8 优化器132
6.8.1 梯度下降法132
6.8.2 Momentum133
6.8.3 NAG133
6.8.4 Adagrad133
6.8.5 Adadelta134
6.8.6 RMRprop134
6.8.7 Adam134
6.8.8 优化器程序135
6.9 参考文献137
第7章 Tensorflow模型的保存和载入138
7.1 Keras模型保存和载入138
7.1.1 Keras模型保存138
7.1.2 Keras模型载入139
7.2 SavedModel模型保存和载入140
7.2.1 SavedModel模型保存140
7.2.2 SavedModel模型载入141
7.3 单独保存模型的结构142
7.3.1 保存模型的结构142
7.3.2 载入模型结构143
7.4 单独保存模型参数144
7.4.1 保存模型参数144
7.4.2 载入模型参数145
7.5 ModelCheckpoint自动保存模型146
7.6 Checkpoint模型保存和载入149
7.6.1 Checkpoint模型保存149
7.6.2 Checkpoint模型载入151
第8章 卷积神经网络（CNN）154
8.1 计算机视觉介绍154
8.1.1 计算机视觉应用介绍154
8.1.2 计算机视觉技术介绍155
8.2 卷积神经网简介158
8.2.1 BP神经网络存在的问题158
8.2.2 局部感受野和权值共享158
8.3 卷积的具体计算159
8.4 卷积的步长161
8.5 不同的卷积核162
8.6 池化163
8.7 Padding164
8.8 常见的卷积计算总结166
8.8.1 对1张图像进行卷积生成1张特征图166
8.8.2 对1张图像进行卷积生成多张特征图166
8.8.3 对多张图像进行卷积生成1张特征图167
8.8.4 对多张图像进行卷积生成多张特征图168
8.9 经典的卷积神经网络168
8.10 卷积神经网络应用于MNIST数据集分类170
8.11 识别自己写的数字图片172
8.12 CIFAR-10数据集分类175
8.13 参考文献177
第9章 序列模型178
9.1 序列模型应用178
9.2 循环神经网络（RNN）179
9.2.1 RNN介绍179
9.2.2 Elman network和Jordan network180
9.3 RNN的不同架构180
9.3.1 一对一架构180
9.3.2 多对一架构181
9.3.3 多对多架构181
9.3.4 一对多架构181
9.3.5 Seq2Seq架构182
9.4 传统RNN的缺点182
9.5 长短时记忆网络（LSTM）183
9.6 Peephole LSTM和FC-LSTM186
9.6.1 Peephole LSTM介绍186
9.6.2 FC-LSTM介绍187
9.7 其他RNN模型188
9.7.1 门控循环单元（GRU）188
9.7.2 双向RNN189
9.7.3 堆叠的双向RNN190
9.8 LSTM网络应用于MNIST数据集分类190
9.9 参考文献192
第10章 经典图像识别模型介绍（上）193
10.1 图像数据集193
10.1.1 图像数据集介绍193
10.1.2 ImageNet的深远影响194
10.1.3 ImageNet Challenge历年优秀作品195
10.2 AlexNet196
10.3 VGGNet199
10.4 GoogleNet201
10.4.1 1×1卷积介绍202
10.4.2 Inception结构203
10.4.3 GoogleNet网络结构205
10.5 Batch Normalization208
10.5.1 Batch Normalization提出背景208
10.5.2 数据标准化（Normalization）209
10.5.3 Batch Normalization模型训练阶段209
10.5.4 Batch Normalization模型预测阶段210
10.5.5 Batch Normalization作用分析211
10.6 ResNet212
10.6.1 ResNet背景介绍212
10.6.2 残差块介绍213
10.6.3 ResNet网络结构214
10.6.4 ResNet-V2219
10.7 参考文献221
第11章 经典图像识别模型介绍（下）222
11.1 Inception模型系列222
11.1.1 Inception-v2/v3优化策略222
11.1.2 Inception-v2/v3模型结构224
11.1.3 Inception-v4和Inception-ResNet介绍229
11.2 ResNeXt233
11.2.1 分组卷积介绍233
11.2.2 ResNeXt中的分组卷积235
11.2.3 ResNeXt的网络结构236
11.3 SENet238
11.3.1 SENet介绍239
11.3.2 SENet结果分析242
11.4 参考文献244
第12章 图像识别项目实战245
12.1 图像数据准备245
12.1.1 数据集介绍245
12.1.2 数据集准备246
12.1.3 切分数据集程序247
12.2 AlexNet图像识别249
12.3 VGGNet图像识别253
12.4 函数式模型255
12.4.1 函数式模型介绍255
12.4.2 使用函数式模型进行MNIST图像识别256
12.5 模型可视化257
12.5.1 使用plot_model进行模型可视化257
12.5.2 plot_model升级版260
12.6 GoogleNet图像识别261
12.7 Batch Normalization使用263
12.8 ResNet图像识别265
12.9 ResNeXt图像识别267
12.10 SENet图像识别270
12.11 使用预训练模型进行迁移学习274
12.11.1 使用训练好的模型进行图像识别274
12.11.2 使用训练好的模型进行迁移学习276
12.11.3 载入训练好的模型进行预测279
第13章 验证码识别项目实战282
13.1 多任务学习介绍282
13.2 验证码数据集生成283
13.3 tf.data介绍285
13.3.1 tf.data概述285
13.3.2 使用tf.data完成多任务学习：验证码识别286
13.4 使用自定义数据生成器完成验证码识别294
13.4.1 使用自定义数据生成器完成模型训练294
13.4.2 使用自定义数据生成器完成模型预测298
13.5 挑战变长验证码识别302
13.5.1 挑战变长验证码识别模型训练302
13.5.2 挑战变长验证码识别模型预测308
13.6 CTC算法313
13.6.1 CTC算法介绍313
13.6.2 贪心算法（Greedy Search）和集束搜索算法（Beam Search）314
13.6.3 CTC存在的问题316
13.6.4 CTC算法：验证码识别316
第14章 自然语言处理（NLP）发展历程（上）329
14.1 NLP应用介绍329
14.2 从传统语言模型到神经语言模型332
14.2.1 规则模型332
14.2.2 统计语言模型333
14.2.3 词向量334
14.2.4 神经语言模型336
14.3 word2vec338
14.3.1 word2vec介绍338
14.3.2 word2vec模型训练338
14.3.3 word2vec训练技巧和可视化效果339
14.4 CNN在NLP领域中的应用340
14.5 RNN在NLP领域中的应用342
14.6 Seq2Seq模型在NLP领域中的应用343
14.7 Attention机制344
14.7.1 Attention介绍344
14.7.2 Bahdanau Attention介绍346
14.7.3 Luong Attention介绍348
14.7.4 谷歌机器翻译系统介绍351
14.7.5 Attention机制在视觉和语音领域的应用352
14.8 参考文献354
第15章 自然语言处理（NLP）发展历程（下）355
15.1 NLP新的开始：Transformer模型355
15.1.1 Transformer模型结构和输入数据介绍355
15.1.2 Self-Attention介绍357
15.1.3 Multi-Head Attention介绍360
15.1.4 Layer Normalization介绍363
15.1.5 Decoder结构介绍364
15.1.6 Decoder中的Multi-Head Attention和模型训练365
15.2 BERT模型367
15.2.1 BERT模型介绍368
15.2.2 BERT模型训练369
15.2.3 BERT模型应用370
15.3 参考文献373
第16章 NLP任务项目实战374
16.1 一维卷积英语电影评论情感分类项目374
16.1.1 项目数据和模型说明374
16.1.2 一维卷积英语电影评论情感分类程序375
16.2 二维卷积中文微博情感分类项目378
16.3 双向LSTM中文微博情感分类项目384
16.4 堆叠双向LSTM中文分词标注项目387
16.4.1 中文分词标注模型训练387
16.4.2 维特比算法391
16.4.3 中文分词标注模型预测393
16.5 近期新的一些激活函数介绍397
16.5.1 Leaky ReLU397
16.5.2 ELU399
16.5.3 SELU400
16.5.4 GELU401
16.5.5 Swish402
16.6 BERT模型的简单使用403
16.6.1 安装tf2-bert模块并准备预训练模型403
16.6.2 使用BERT模型进行文本特征提取404
16.6.3 使用BERT模型进行完形填空406
16.7 BERT电商用户多情绪判断项目407
16.7.1 项目背景介绍407
16.7.2 模型训练408
16.7.3 模型预测412
16.8 参考文献415
第17章 音频信号处理416
17.1 深度学习在声音领域的应用416
17.2 MFCC和Mel Filter Banks417
17.2.1 音频数据采集417
17.2.2 分帧加窗418
17.2.3 傅里叶变换419
17.2.4 梅尔滤波器组421
17.2.5 梅尔频率倒谱系数（MFCC）423
17.3 语音分类项目425
17.3.1 librosa介绍425
17.3.2 音频分类项目——模型训练427
17.3.3 音频分类项目——模型预测430
第18章 图像风格转换433
18.1 图像风格转换实现原理433
18.1.1 代价函数的定义434
18.1.2 格拉姆矩阵介绍435
18.2 图像风格转换项目实战436
18.3 遮挡图像风格转换项目实战441
18.4 参考文献443
第19章 生成对抗网络444
19.1 生成对抗网络的应用444
19.2 DCGAN介绍447
19.3 手写数字图像生成449
19.4 参考文献454
第20章 模型部署455
20.1 Tensorflow Serving环境部署455
20.2 运行客户端和服务器程序456
20.2.1 准备SavedModel模型456
20.2.2 启动Tensorflow Serving服务器程序457
20.2.3 Tensorflow Serving客户端gRPC程序459
20.2.4 Tensorflow Serving客户端REST API程序461
专业术语汇总463
结束语471