深度学习基础与工程实践

本书从搭建一个以学习为主的深度学习开发环境入手，讨论了如何使用深度学习解决人工智能中“所见所闻”的问题，以及如何基于对“所见所闻”的内容进行理解、解释、规划、推理、演绎、归纳等，让人工智能做出相应的、合适的反应。

本书以工程实践为主线，基于TensorFlow2.0软件框架详细介绍了深度学习的工作原理和方法，并以实际代码为例，剖析了构建神经网络模型的流程、全连接网络的运行原理、卷积神经网络的结构与运行机制、循环神经网络的结构与运行机制，讨论了使用Dense、Conv1D、Conv2D、SimpleRNN、LTSM、GRU、Bidirectional等深度学习模型解决计算机视觉、序列问题的方法，并在此基础上基于具体示例介绍了深度学习的高阶实践。本书致力于为人工智能算法工程师及从事人工智能引擎相关工作的人提供理论与时间指导，适合对人工智能及其应用感兴趣的读者阅读。

"郭泽文 香港理工大学软件科技理学硕士，中国人工智能学会会员，香港理工大学北京校友会理事。在计算机行业工作近30年，长期从事产品研发与项目管理工作，曾就职于北控、盛大等企业，目前是一家知名人工智能企业的合伙人，负责创新性产品的规划与研发，致力于深度学习领域的探索与产品化实践。"

第1章搭建环境
1.1安装Anaconda2
1.2安装CUDA及其加速器3
1.3安装TensorFlow2.04
1.4开发环境——Spyder6
1.5可视化分析工具——TensorBoard7
第2章机器学习与深度学习
2.1机器学习11
2.2深度学习13
第3章构建神经网络模型
3.1搭建一个全连接网络17
3.2确定要解决的问题19
3.3准备数据与数据预处理20
3.3.1数据集22
3.3.2拟合问题初探23
3.3.3数据集划分与数据污染25
3.3.4神经网络中的数据表示26
3.3.5张量操作30
3.3.6数据预处理32
3.4构建神经网络34
3.4.1构建神经网络的方法34
3.4.2理解Sequential Model的构建方法35
3.4.3理解layers与layer37
3.4.4理解models与model39
3.4.5理解Dense39
3.4.6激活函数40
3.5编译模型42
3.5.1优化器43
3.5.2损失函数44
3.5.3评价指标46
3.6训练模型47
3.6.1使用fit方法训练模型47
3.6.2使用fit_generator方法训练模型51
3.6.3使用TensorBoard回调函数训练模型52
3.7测试模型59
3.7.1性能评估59
3.7.2模型预测60
3.8保存模型62
3.8.1save方式62
3.8.2save_weights方式63
3.8.3SavedModel方式64
3.9使用模型64
3.9.1以save_weights方式保存的模型的加载方法64
3.9.2以save方式保存的模型的加载方法65
3.9.3以SavedModel方式保存的模型的加载方法66
3.10模型的重新训练与预测66
3.11使用模型在新数据上进行推理69
第4章全连接网络
4.1全连接层72
4.2使用全连接网络解决文本分类问题74
4.2.1基于IMDB数据集的二分类任务75
4.2.2基于Reuters数据集的多分类任务79
4.3使用全连接网络解决标量回归问题82
4.3.1使用留出验证集方式训练模型86
4.3.2使用K折交叉验证方式训练模型87
4.4全连接网络图片分类问题的优化88
4.4.1降低模型容量：缩减模型的超参数90
4.4.2奥卡姆剃刀原则：正则化模型参数91
4.4.3初识随机失活：Dropout92
第5章卷积神经网络
5.1使用CNN解决MNIST数据集的分类问题96
5.2全连接网络面临的问题98
5.3局部相关性与权值共享100
5.4构建卷积神经网络102
5.4.1CNN与Dense性能比较102
5.4.2卷积层104
5.4.3池化层108
5.4.4打平层111
5.4.5卷积神经网络基础架构113
5.5使用Conv1D解决二分类问题115
5.5.1EarlyStopping函数：训练终止118
5.5.2ModelCheckpoint函数：动态保存模型120
5.5.3再谈随机失活122
第6章循环神经网络
6.1循环神经网络基础126
6.1.1序列126
6.1.2序列向量化126
6.1.3权值共享130
6.1.4全局语义130
6.1.5循环神经网络概述131
6.1.6循环层132
6.2SimpleRNN133
6.2.1序列数据的预处理136
6.2.2理解SimpleRNN层137
6.3LSTM网络141
6.3.1短时记忆与遗忘曲线141
6.3.2梯度问题142
6.3.3门控机制143
6.3.4理解LSTM层144
6.4GRU151
6.4.1LSTM网络面临的问题151
6.4.2门控机制的优化方法152
6.4.3理解GRU层152
6.5双向循环神经网络159
6.5.1双向LSTM网络161
6.5.2双向GRU164
6.6解决循环神经网络的拟合问题167
6.6.1通过正则化模型参数解决拟合问题167
6.6.2使用随机失活解决拟合问题168
第7章深度学习高阶实践
7.1函数式API网络模型173
7.1.1如何实现层图共享177
7.1.2如何实现模型共享180
7.1.3如何实现模型组装与嵌套183
7.1.4如何实现多输入多输出模型185
7.2混合网络模型189
7.3基于Xception架构实现图片分类任务191
7.3.1Xception架构191
7.3.2使用image_dataset_from_directory函数构建数据集194
7.3.3数据增强技术199
7.3.4数据增强器的使用201
7.3.5二维深度分离卷积层：SeparableConv2D202
7.3.6数据标准化前置与中置205
7.3.7编译与训练模型206
7.3.8在新数据上进行推理207
7.4残差网络在CIFAR10数据集上的实践208
7.4.1CIFAR10数据集208
7.4.2深度残差网络：ResNet209
7.4.3基于ResNet构建多分类任务模型211
7.5GloVe预训练词嵌入实践215
7.5.1从原始文件构建训练集216
7.5.2解析并加载GloVe220
7.5.3在二分类模型中使用词嵌入矩阵221
7.5.4模型的编译与训练222
7.5.5构建测试集与模型评估222
7.6基于预训练网络VGG16完成图片分类任务224
7.6.1预训练网络224
7.6.2预训练网络之特征提取方法225
7.6.3预训练网络之微调模型方法230
7.7生成式深度学习实践237
7.7.1基于ResNet50的Deep Dream技术实践238
7.7.2基于VGG19网络的风格迁移实践244
7.8使用自定义回调函数监控模型的行为253
7.8.1将约束理论应用于模型调优254
7.8.2构建全局回调函数255
7.8.3构建epoch级的自定义回调函数258
7.8.4构建batch级的自定义回调函数260
第8章模型的工程封装与部署
8.1深度学习模型的封装方法263
8.2使用Flask部署神经网络模型264
8.2.1Flask是什么265
8.2.2将模型部署成接口提供给第三方使用267
8.2.3深度学习模型与Web应用协同工作270
8.3基于TFX的部署实践273
8.3.1TensorFlow Serving服务模型273
8.3.2基于TensorFlow Serving与Docker部署深度学习模型275
第9章回顾与展望
9.1神经网络的架构281
9.2构建神经网络模型的流程与实践282
9.3深度学习的局限性与展望285