深度学习快速实践——基于TensorFlow和Keras的深度神经网络优化与训练

通过本书你将学习以下内容：使用TensorFlow和Keras解决回归和分类难题学习使用Tensor Board监视神经网络及其训练优化超参数和安全选择，进行*佳实践构建CNN、RNN和LSTM，并从头开始使用单嵌入构建和训练用于机器翻译和聊天应用程序的sequence-to-sequence模型了解Deep Q网络，并使用它来解决自治代理问题探索Deep Q网络并解决自主代理的挑战

本书内容包括神经网络的基础、深度神经网络的优化和验证、深度神经网络开发和训练环境的构建、使用Tensor-Board进行网络训练的监控和模的超参数优化。本书详细介绍的深度学习问题，包括基本的回归问题、二元分类问题和多元分类问题，还包括较为复杂的卷积神经网络对图像的分类和使用预训练CNN进行的迁移学习；使用递归神经网络进行时间序列预测、自然语言分类，以及通过sequence-to-sequence模型进行机器翻译；深度强化学习的智能体构建，以及生成对抗网络的图像生成。
本书从实践的角度给出了许多宝贵技巧和经验，内容力图详尽，并给出了详细的代码，对读者进行深度神经网络的实际开发和应用具有较高的指导和参考价值。

译者序
原书序
原书前言
第1章深度学习的构建模块//1
1.1深度神经网络的架构//1
1.1.1神经元//1
1.1.2深度学习中的代价函数和成本函数//4
1.1.3前向传播过程//5
1.1.4反向传播函数//5
1.1.5随机和小批量梯度下降//6
1.2深度学习的优化算法//6
1.2.1采用具有动量的梯度下降//6
1.2.2RMSProp算法//7
1.2.3Adam优化器//7
1.3深度学习平台架构//7
1.3.1什么是TensorFlow？//7
1.3.2什么是Keras？//8
1.3.3TensorFlow的热门替代品//8
1.3.4TensorFlow和Keras对GPU的要求//8
1.3.5安装NvidiaCUDAToolkit和cuDNN//9
1.3.6安装Python//10
1.3.7安装TensorFlow和Keras//11
1.4深度学习数据集的构建//12
1.4.1深度学习中的偏差和方差误差//13
1.4.2train、val和test数据集//13
1.4.3深度神经网络中的偏差和方差管理//14
1.4.4K-Fold交叉验证//14
1.5小结//15
第2章用深度学习解决回归问题//16
2.1回归分析和深度神经网络//16
2.1.1使用神经网络进行回归的好处//16
2.1.2使用神经网络进行回归时需要注意的问题//17
2.2使用深度神经网络进行回归//17
2.2.1如何规划机器学习问题//17
2.2.2定义示例问题//17
2.2.3加载数据集//18
2.2.4定义成本函数//19
2.3在Keras中建立MLP//19
2.3.1输入层的构形//20
2.3.2隐藏层的构形//20
2.3.3输出层的构形//20
2.3.4神经网络的架构//20
2.3.5训练Keras模型//21
2.3.6评测模型的性能//22
2.4在Keras中建立深度神经网络//22
2.4.1评测深度神经网络的性能//24
2.4.2模型超参数的调优//25
2.5保存并加载经过训练的Keras模型//25
2.6小结//25
第3章用TensorBoard监控网络训练//27
3.1TensorBoard的概述//27
3.2设置TensorBoard//27
3.2.1安装TensorBoard//28
3.2.2TensorBoard如何与Keras/TensorFlow会话//28
3.2.3运行TensorBoard//28
3.3将Keras连接到TensorBoard//29
3.3.1Keras回调简介//29
3.3.2创建TensorBoard回调函数//29
3.4使用TensorBoard//31
3.4.1网络训练的可视化//31
3.4.2网络结构的可视化//32
3.4.3网络破碎的可视化//32
3.5小结//33
第4章用深度学习解决二元分类问题//34
4.1二元分类和深度神经网络//34
4.1.1深度神经网络的优点//34
4.1.2深度神经网络的缺点//35
4.2案例研究—癫痫发作识别//35
4.2.1定义数据集//35
4.2.2加载数据//35
4.2.3模型的输入和输出//36
4.2.4成本函数//36
4.2.5性能评估所采用的度量指标//37
4.3在Keras中构建二元分类器//37
4.3.1输入层//38
4.3.2隐藏层//38
4.3.3输出层//39
4.3.4网络层的合并//39
4.3.5训练模型//40
4.4使用Keras中的检查点回调函数//40
4.5在自定义回调函数中测量ROCAUC//41
4.6精度、召回率和f1积分的测量//42
4.7小结//43
第5章用Keras解决多元分类问题//44
5.1多元分类和深度神经网络//44
5.1.1优势//44
5.1.2缺点//45
5.2案例研究—手写数字的分类//45
5.2.1问题定义//45
5.2.2模型的输入和输出//45
5.2.3成本函数//46
5.2.4度量//46
5.3在Keras中构建多元分类器//47
5.3.1加载MNIST//47
5.3.2输入层//47
5.3.3隐藏层//47
5.3.4输出层//48
5.3.5网络的总体结构//49
5.3.6训练//49
5.3.7多类模型中scikit-learn度量指标的应用//50
5.4通过Dropout进行方差控制//51
5.5采用正则化进行方差控制//54
5.6小结//55
第6章超参数的优化//56
6.1网络体系结构应该被视为超参数吗？//56
6.1.1站在巨人的肩膀上//56
6.1.2添加至过度拟合，然后进行正则化//57
6.1.3实用建议//57
6.2应该优化哪些超参数？//57
6.3超参数优化策略//58
6.3.1常用的策略//58
6.3.2通过scikit-learn使用随机搜索//59
6.3.3Hyperband//60
6.4小结//62
第7章从头开始训练CNN//63
7.1卷积的引入//63
7.1.1卷积层的工作原理//64
7.1.2卷积层的好处//65
7.1.3汇集层//66
7.1.4批量正则化//67
7.2在Keras中训练卷积神经网络//67
7.2.1输入//67
7.2.2输出//67
7.2.3成本函数和度量指标//67
7.2.4卷积层//68
7.2.5全相连层//68
7.2.6Keras中的多GPU模型//69
7.2.7训练//69
7.3使用数据扩增//70
7.3.1Keras中的图像数据扩增器（ImageDataGenerator类）//71
7.3.2具有数据扩增的训练//72
7.4小结//72
第8章使用预训练CNN进行
迁移学习//73
8.1迁移学习概述//73
8.2何时使用迁移学习//74
8.2.1有限的数据//74
8.2.2公共问题域//74
8.3源/目标量和相似度的影响//75
8.3.1更多的数据总是有益的//75
8.3.2源/目标域的相似度//75
8.4在Keras中进行迁移学习//75
8.4.1目标域概述//76
8.4.2源域概述//76
8.4.3源网络体系结构//76
8.4.4网络体系结构的迁移//77
8.4.5数据准备//77
8.4.6数据输入//78
8.4.7训练（特征提取）//78
8.4.8训练（调优）//80
8.5小结//81
第9章从头开始训练RNN//82
9.1递归神经网络概述//82
9.1.1如何让神经元进行递归？//83
9.1.2长短时间记忆网络//84
9.1.3在时间上的反向传播//86
9.2重温时间序列问题//86
9.2.1存量和流量//87
9.2.2ARIMA和ARIMAX预测//87
9.3使用LSTM网络进行时间序列预测//88
9.3.1数据准备//89
9.3.2网络输出//92
9.3.3网络体系结构//93
9.3.4stateful与statelessLSTM网络//93
9.3.5训练//93
9.3.6测量性能//94
9.4小结//96
第10章从头开始训练具有单词嵌入的LSTM网络//97
10.1自然语言处理简介//97
10.1.1语义分析//98
10.1.2文档分类//98
10.2文本的矢量化//99
10.2.1NLP术语//99
10.2.2BagofWord模型//99
10.2.3词干化、词形归并和停止词//100
10.2.4计数和TF-IDF矢量化//100
10.3单词嵌入//101
10.3.1一个简单的例子//102
10.3.2通过预测进行的单词嵌入学习//102
10.3.3通过计数进行的单词嵌入学习//104
10.3.4从单词到文档//104
10.4Keras嵌入层//105
10.5用于自然语言处理的1DCNN//105
10.6文档分类的案例研究//106
10.6.1使用Keras嵌入层和LSTM网络进行情感分析//106
10.6.2使用和不使用GloVe的文档分类//110
10.7小结//117
第11章训练sequence-tosequence模型//118
11.1sequence-to-sequence模型//118
11.1.1sequence-to-sequence模型的应用//118
11.1.2sequence-to-sequence模型的体系结构//119
11.1.3字符与单词//120
11.1.4Teacherforcing//120
11.1.5Attention//121
11.1.6翻译的度量//121
11.2机器翻译//121
11.2.1了解数据集//122
11.2.2加载数据//122
11.2.3onehot编码//124
11.2.4训练网络体系结构//125
11.2.5网络体系结构（用于推理）//126
11.2.6体系结构的合并//127
11.2.7训练//128
11.2.8推理//129
11.3小结//133
第12章使用深度强化学习//134
12.1强化学习概述//134
12.1.1Markov决策过程//135
12.1.2Q-learning//136
12.1.3无限的状态空间//136
12.1.4DeepQ网络//137
12.1.5守成与探索//138
12.1.6DeepMind//138
12.2Keras的强化学习平台架构//139
12.2.1安装Keras-RL//139
12.2.2安装OpenAIgym//139
12.2.3使用OpenAIgym//139
12.3在Keras中构建一个强化学习智能体//140
12.3.1CartPole//140
12.3.2月球着陆器//143
12.4小结//145
第13章生成对抗网络//146
13.1GAN的概述//146
13.2深度卷积GAN的体系结构//147
13.2.1对抗训练体系结构//147
13.2.2生成器的体系结构//148
13.2.3鉴别器的体系结构//149
13.2.4堆训练//149
13.3GAN如何失效//151
13.3.1稳定性//151
13.3.2模式塌缩//151
13.4GAN的安全选择//151
13.5使用KerasGAN进行的MNIST图像生成//152
13.5.1加载数据集//152
13.5.2构建生成器//153
13.5.3构建鉴别器//153
13.5.4堆叠模型的构建//154
13.5.5训练循环//155
13.5.6模型评估//157
13.6使用KerasGAN进行CIFAR-10图像的生成//160
13.6.1加载CIFAR-10//160
13.6.2构建生成器//160
13.6.3构建鉴别器//161
13.6.4训练循环//161
13.6.5模型评估//161
13.7小结//162