深度学习案例精粹

 

本书主要讲述了深度学习中的重要概念和技术，并展示了如何使用TensorFlow实现高级机器学习算法和神经网络。本书首先介绍了数据科学和机器学习中的基本概念，然后讲述如何使用TensorFlow训练深度学习模型，以及如何通过训练深度前馈神经网络对数字进行分类，如何通过深度学习架构解决计算机视觉、语言处理、语义分析等方面的实际问题，最后讨论了高级的深度学习模型，如生成对抗网络及其应用。

 

第1章 数据科学——鸟瞰全景 1
1.1 通过示例了解数据科学 2
1.2 设计数据科学算法的流程 7
1.2.1 数据预处理 8
1.2.2 特征选择 8
1.2.3 模型选择 9
1.2.4 学习过程 9
1.2.5 评估模型 9
1.3 开始学习 10
1.4 实现鱼类识别/检测模型 12
1.4.1 知识库/数据集 12
1.4.2 数据分析预处理 14
1.4.3 搭建模型 17
1.5 不同学习类型 22
1.5.1 监督学习 22
1.5.2 无监督学习 23
1.5.3 半监督学习 24
1.5.4 强化学习 24
1.6 数据量和行业需求 25
1.7 总结 25
第2章 数据建模实战——“泰坦尼克号”示例 27
2.1 线性回归模型 27
2.1.1 原因 28
2.1.2 广告—— 一个财务方面的例子 28
2.2 线性分类模型 36
2.3 “泰坦尼克号”示例——建立和训练模型 38
2.3.1 数据处理和可视化 39
2.3.2 数据分析——监督机器学习 44
2.4 不同类型的误差解析 47
2.5 表现（训练集）误差 47
2.6 泛化/真实误差 48
2.7 总结 48
第3章 特征工程与模型复杂性——重温“泰坦尼克号”示例 49
3.1 特征工程 49
3.1.1 特征工程的类型 50
3.1.2 重温“泰坦尼克号”示例 51
3.2 维度灾难 62
3.3 重温“泰坦尼克号”示例——融会贯通 64
3.4 偏差-方差分解 78
3.5 学习可见性 80
3.6 总结 80
第4章 TensorFlow入门实战 82
4.1 安装TensorFlow 82
4.1.1 在Ubuntu 16.04系统上安装GPU版的TensorFlow 83
4.1.2 在Ubuntu 16.04系统上安装CPU版的TensorFlow 86
4.1.3 在Mac OS X上安装CPU版的TensorFlow 88
4.1.4 在Windows系统上安装CPU/GPU版的TensorFlow 88
4.2 TensorFlow运行环境 89
4.3 计算图 90
4.4 TensorFlow中的数据类型、变量、占位符 91
4.4.1 变量 91
4.4.2 占位符 92
4.4.3 数学运算 92
4.5 获取TensorFlow的输出 94
4.6 TensorBoard——可视化学习过程 95
4.7 总结 101
第5章 TensorFlow基础示例实战 102
5.1 神经元的结构 102
5.2 激活函数 104
5.2.1 sigmoid 105
5.2.2 tanh 105
5.2.3 ReLU 105
5.3 前馈神经网络 106
5.4 需要多层网络的原因 107
5.4.1 训练MLP——反向传播算法 108
5.4.2 前馈传播 109
5.4.3 反向传播和权值更新 110
5.5 TensorFlow术语回顾 110
5.5.1 使用Tensorflow定义多维数组 112
5.5.2 为什么使用张量 114
5.5.3 变量 115
5.5.4 占位符 116
5.5.5 操作 117
5.6 构建与训练线性回归模型 118
5.7 构建与训练逻辑回归模型 123
5.8 总结 130
第6章 深度前馈神经网络——实现数字分类 131
6.1 隐藏单元与架构设计 131
6.2 MNIST数据集分析 133
6.3 数字分类——构建与训练模型 135
6.3.1 分析数据 137
6.3.2 构建模型 140
6.3.3 训练模型 144
6.4 总结 148
第7章 卷积神经网络 149
7.1 卷积运算 149
7.2 动机 152
7.3 CNN的不同层 153
7.3.1 输入层 153
7.3.2 卷积步骤 154
7.3.3 引入非线性 155
7.3.4 池化步骤 156
7.3.5 全连接层 157
7.4 CNN基础示例——MNIST手写数字分类 159
7.4.1 构建模型 162
7.4.2 训练模型 167
7.5 总结 174
第8章 目标检测——CIFAR-10示例 175
8.1 目标检测 175
8.2 CIFAR-10目标图像检测——构建与训练模型 176
8.2.1 使用软件包 176
8.2.2 加载CIFAR-10数据集 177
8.2.3 数据分析与预处理 178
8.2.4 建立网络 183
8.2.5 训练模型 186
8.2.6 测试模型 191
8.3 总结 195
第9章 目标检测——CNN迁移学习 196
9.1 迁移学习 196
9.1.1 迁移学习背后的直觉 197
9.1.2 传统机器学习与迁移学习之间的不同 198
9.2 CIFAR-10目标检测——回顾 199
9.2.1 解决方案大纲 199
9.2.2 加载和探索CIFAR-10数据集 200
9.2.3 inception模型迁移值 204
9.2.4 迁移值分析 207
9.2.5 模型构建与训练 211
9.3 总结 219
第10章 循环神经网络——语言模型 220
10.1 RNN的直观解释 220
10.1.1 RNN的架构 221
10.1.2 RNN的示例 222
10.1.3 梯度消失问题 224
10.1.4 长期依赖问题 225
10.2 LSTM网络 226
10.3 语言模型的实现 227
10.3.1 生成训练的最小批 230
10.3.2 构建模型 232
10.3.3 训练模型 238
10.4 总结 243
第11章 表示学习——实现词嵌入 244
11.1 表示学习简介 244
11.2 Word2Vec 245
11.3 skip-gram架构的一个实际例子 248
11.4 实现skip-gram Word2Vec 250
11.4.1 数据分析与预处理 251
11.4.2 构建模型 257
11.4.3 训练模型 259
11.5 总结 264
第12章 神经网络在情感分析中的应用 265
12.1 常用的情感分析模型 265
12.1.1 RNN——情感分析背景 267
12.1.2 梯度爆炸与梯度消失——回顾 269
12.2 情感分析——模型实现 270
12.2.1 Keras 270
12.2.2 数据分析与预处理 271
12.2.3 构建模型 282
12.2.4 模型训练和结果分析 284
12.3 总结 288
第13章 自动编码器——特征提取和降噪 289
13.1 自动编码器简介 289
13.2 自动编码器的示例 290
13.3 自动编码器架构 291
13.4 压缩MNIST数据集 292
13.4.1 MNIST数据集 292
13.4.2 构建模型 293
13.4.3 训练模型 295
13.5 卷积自动编码器 297
13.5.1 数据集 297
13.5.2 构建模型 299
13.5.3 训练模型 301
13.6 降噪自动编码器 304
13.6.1 构建模型 305
13.6.2 训练模型 307
13.7 自动编码器的应用 310
13.7.1 图像着色 310
13.7.2 更多的应用 311
13.8 总结 311
第14章 生成对抗网络 312
14.1 直观介绍 312
14.2 GAN的简单实现 313
14.2.1 模型输入 315
14.2.2 变量作用域 316
14.2.3 Leaky ReLU 316
14.2.4 生成器 317
14.2.5 判别器 318
14.2.6 构建GAN网络 319
14.2.7 训练模型 322
14.2.8 从生成器中采样 327
14.3 总结 328
第15章 面部生成与标签缺失处理 329
15.1 面部生成 329
15.1.1 获取数据 330
15.1.2 探讨数据集 331
15.1.3 构建模型 332
15.2 用生成对抗网络进行半监督学习 340
15.2.1 直观解释 340
15.2.2 数据分析与预处理 341
15.2.3 构建模型 345
15.3 总结 359
附录A 实现鱼类识别 360