Python深度学习(第2版)

近年来，深度学习在自然语言处理、计算机视觉等领域取得了非凡的进展。从机器翻译和文本生成到自动驾驶和虚拟助手，我们受益于深度学习技术的逐渐普及。然而，深度学习还远未发挥全部潜力。欢迎来到深度学习的世界！在这个规模呈爆发式增长的领域，仍有许多“宝藏”等待你去发掘。 本书由流行深度学习框架Keras之父弗朗索瓦·肖莱执笔，不用数学公式，而用Python代码帮助你直观理解深度学习的核心思想。本书在第1版的基础上进行了大幅更新和增补，以体现深度学习领域的快速发展。 - Keras和TensorFlow入门：详解实践深度学习所需的全部知识 - 神经网络入门：分类与回归 - 计算机视觉、时间序列预测、生成式深度学习 - 新增Transformer架构的原理及用法 - 新增机器学习的工作流程 - 随书提供Jupyter notebook，采用TensorFlow 2.6

本书由流行深度学习框架Keras之父弗朗索瓦·肖莱执笔，通过直观的解释和丰富的示例帮助你构建深度学习知识体系。作者避免使用数学符号，转而采用Python代码来解释深度学习的核心思想。全书共计14章，既涵盖了深度学习的基本原理，又体现了这一迅猛发展的领域在近几年里取得的重要进展，包括Transformer架构的原理和示例。读完本书后，你将能够使用Keras解决从计算机视觉到自然语言处理等现实世界的诸多问题，包括图像分类、图像分割、时间序列预测、文本分类、机器翻译、文本生成等。

【作者简介】 弗朗索瓦·肖莱（Franc?ois Chollet） 谷歌公司深度学习科学家，流行深度学习框架Keras之父。Keras的GitHub星标数近6万，用户数量已超100万。此外，他也是TensorFlow框架的贡献者，个人Kaggle竞赛全球排名曾获第17名。利用Keras，他致力于普及深度学习技术和实现通用人工智能。 【译者简介】 张亮（hysic） 毕业于北京大学物理学院，核安全高级工程师，深谙机器学习和数据分析，译有《Python机器学习基础教程》《Python数据处理》等。

第1章 什么是深度学习1
1.1 人工智能、机器学习和深度学习1
1.1.1 人工智能2
1.1.2 机器学习2
1.1.3 从数据中学习规则与表示3
1.1.4 深度学习之“深度”5
1.1.5 用三张图理解深度学习的工作原理7
1.1.6 深度学习已取得的进展8
1.1.7 不要相信短期炒作9
1.1.8 人工智能的未来10
1.2 深度学习之前：机器学习简史10
1.2.1 概率建模11
1.2.2 早期神经网络11
1.2.3 核方法11
1.2.4 决策树、随机森林和梯度提升机12
1.2.5 回到神经网络13
1.2.6 深度学习有何不同14
1.2.7 机器学习现状14
1.3 为什么要用深度学习，为什么是现在16
1.3.1 硬件17
1.3.2 数据17
1.3.3 算法18
1.3.4 新一轮投资热潮18
1.3.5 深度学习的普及19
1.3.6 这种趋势会持续下去吗20
第2章 神经网络的数学基础21
2.1 初识神经网络21
2.2 神经网络的数据表示25
2.2.1 标量（0阶张量）25
2.2.2 向量（1阶张量）25
2.2.3 矩阵（2阶张量）26
2.2.4 3阶张量与更高阶的张量26
2.2.5 关键属性26
2.2.6 在NumPy中操作张量28
2.2.7 数据批量的概念28
2.2.8 现实世界中的数据张量实例29
2.2.9 向量数据29
2.2.10 时间序列数据或序列数据29
2.2.11 图像数据30
2.2.12 视频数据31
2.3 神经网络的“齿轮”：张量运算31
2.3.1 逐元素运算32
2.3.2 广播33
2.3.3 张量积34
2.3.4 张量变形36
2.3.5 张量运算的几何解释37
2.3.6 深度学习的几何解释40
2.4 神经网络的“引擎”：基于梯度的优化40
2.4.1 什么是导数41
2.4.2 张量运算的导数：梯度42
2.4.3 随机梯度下降44
2.4.4 链式求导：反向传播算法46
2.5 回顾第一个例子51
2.5.1 用TensorFlow从头开始重新实现第一个例子52
2.5.2 完成一次训练步骤54
2.5.3 完整的训练循环55
2.5.4 评估模型55
2.6 本章总结56
第3章 Keras和TensorFlow入门57
3.1 TensorFlow简介57
3.2 Keras简介58
3.3 Keras和TensorFlow简史59
3.4 建立深度学习工作区60
3.4.1 Jupyter笔记本：运行深度学习实验的首选方法60
3.4.2 使用Colaboratory61
3.5 TensorFlow入门63
3.5.1 常数张量和变量64
3.5.2 张量运算：用TensorFlow进行数学运算66
3.5.3 重温GradientTapeAPI66
3.5.4 一个端到端的例子：用TensorFlow编写线性分类器67
3.6 神经网络剖析：了解核心KerasAPI71
3.6.1 层：深度学习的基础模块71
3.6.2 从层到模型74
3.6.3 编译步骤：配置学习过程75
3.6.4 选择损失函数77
3.6.5 理解fit()方法77
3.6.6 监控验证数据上的损失和指标78
3.6.7 推断：在训练后使用模型79
3.7 本章总结80
第4章 神经网络入门：分类与回归81
4.1 影评分类：二分类问题示例82
4.1.1 IMDB数据集82
4.1.2 准备数据83
4.1.3 构建模型84
4.1.4 验证你的方法87
4.1.5 利用训练好的模型对新数据进行预测90
4.1.6 进一步实验90
4.1.7 小结90
4.2 新闻分类：多分类问题示例91
4.2.1 路透社数据集91
4.2.2 准备数据92
4.2.3 构建模型92
4.2.4 验证你的方法93
4.2.5 对新数据进行预测96
4.2.6 处理标签和损失的另一种方法96
4.2.7 拥有足够大的中间层的重要性96
4.2.8 进一步实验97
4.2.9 小结97
4.3 预测房价：标量回归问题示例97
4.3.1 波士顿房价数据集98
4.3.2 准备数据98
4.3.3 构建模型99
4.3.4 利用K折交叉验证来验证你的方法99
4.3.5 对新数据进行预测103
4.3.6 小结103
4.4 本章总结104
第5章 机器学习基础105
5.1 泛化：机器学习的目标105
5.1.1 欠拟合与过拟合105
5.1.2 深度学习泛化的本质110
5.2 评估机器学习模型115
5.2.1 训练集、验证集和测试集115
5.2.2 超越基于常识的基准118
5.2.3 模型评估的注意事项119
5.3 改进模型拟合119
5.3.1 调节关键的梯度下降参数119
5.3.2 利用更好的架构预设121
5.3.3 提高模型容量121
5.4 提高泛化能力123
5.4.1 数据集管理123
5.4.2 特征工程124
5.4.3 提前终止125
5.4.4 模型正则化125
5.5 本章总结132
第6章 机器学习的通用工作流程133
6.1 定义任务134
6.1.1 定义问题134
6.1.2 收集数据集135
6.1.3 理解数据138
6.1.4 选择衡量成功的指标139
6.2 开发模型139
6.2.1 准备数据139
6.2.2 选择评估方法140
6.2.3 超越基准141
6.2.4 扩大模型规模：开发一个过拟合的模型142
6.2.5 模型正则化与调节超参数142
6.3 部署模型143
6.3.1 向利益相关者解释你的工作并设定预期143
6.3.2 部署推断模型143
6.3.3 监控模型在真实环境中的性能146
6.3.4 维护模型146
6.4 本章总结147
第7章 深入Keras148
7.1 Keras工作流程148
7.2 构建Keras模型的不同方法149
7.2.1 序贯模型149
7.2.2 函数式API152
7.2.3 模型子类化157
7.2.4 混合使用不同的组件159
7.2.5 用正确的工具完成工作160
7.3 使用内置的训练循环和评估循环160
7.3.1 编写自定义指标161
7.3.2 使用回调函数162
7.3.3 编写自定义回调函数164
7.3.4 利用TensorBoard进行监控和可视化165
7.4 编写自定义的训练循环和评估循环167
7.4.1 训练与推断168
7.4.2 指标的低阶用法169
7.4.3 完整的训练循环和评估循环169
7.4.4 利用tf.function加快运行速度171
7.4.5 在fit()中使用自定义训练循环172
7.5 本章总结174
第8章 计算机视觉深度学习入门175
8.1 卷积神经网络入门176
8.1.1 卷积运算178
8.1.2 最大汇聚运算182
8.2 在小型数据集上从头开始训练一个卷积神经网络184
8.2.1 深度学习对数据量很小的问题的适用性184
8.2.2 下载数据185
8.2.3 构建模型.187
8.2.4 数据预处理189
8.2.5 使用数据增强193
8.3 使用预训练模型196
8.3.1 使用预训练模型做特征提取197
8.3.2 微调预训练模型204
8.4 本章总结208
第9章 计算机视觉深度学习进阶209
9.1 三项基本的计算机视觉任务209
9.2 图像分割示例210
9.3 现代卷积神经网络架构模式218
9.3.1 模块化、层次结构和复用218
9.3.2 残差连接221
9.3.3 批量规范化224
9.3.4 深度可分离卷积226
9.3.5 综合示例：一个类似Xception的迷你模型227
9.4 解释卷积神经网络学到的内容229
9.4.1 中间激活值的可视化230
9.4.2 卷积神经网络滤波器的可视化235
9.4.3 类激活热力图的可视化241
9.5 本章总结246
第10章 深度学习处理时间序列247
10.1 不同类型的时间序列任务247
10.2 温度预测示例248
10.2.1 准备数据251
10.2.2 基于常识、不使用机器学习的基准254
10.2.3 基本的机器学习模型254
10.2.4 一维卷积模型256
10.2.5 第一个RNN基准258
10.3 理解RNN259
10.4 RNN的高级用法265
10.4.1 利用循环dropout降低过拟合265
10.4.2 循环层堆叠268
10.4.3 使用双向RNN269
10.4.4 进一步实验271
10.5 本章总结272
第11章 深度学习处理文本273
11.1 自然语言处理概述273
11.2 准备文本数据274
11.2.1 文本标准化275
11.2.2 文本拆分（词元化）276
11.2.3 建立词表索引277
11.2.4 使用TextVectorization层278
11.3 表示单词组的两种方法：集合和序列282
11.3.1 准备IMDB影评数据282
11.3.2 将单词作为集合处理：词袋方法284
11.3.3 将单词作为序列处理：序列模型方法289
11.4 Transformer架构298
11.4.1 理解自注意力298
11.4.2 多头注意力302
11.4.3 Transformer编码器303
11.4.4 何时使用序列模型而不是词袋模型309
11.5 超越文本分类：序列到序列学习310
11.5.1 机器翻译示例312
11.5.2 RNN的序列到序列学习314
11.5.3 使用Transformer进行序列到序列学习318
11.6 本章总结323
第12章 生成式深度学习324
12.1 文本生成325
12.1.1 生成式深度学习用于序列生成的简史325
12.1.2 如何生成序列数据326
12.1.3 采样策略的重要性327
12.1.4 用Keras实现文本生成328
12.1.5 带有可变温度采样的文本生成回调函数331
12.1.6 小结334
12.2 DeepDream334
12.2.1 用Keras实现DeepDream335
12.2.2 小结341
12.3  神经风格迁移341
12.3.1 内容损失342
12.3.2 风格损失342
12.3.3 用Keras实现神经风格迁移343
12.3.4 小结348
12.4 用变分自编码器生成图像348
12.4.1 从图像潜在空间中采样348
12.4.2 图像编辑的概念向量350
12.4.3 变分自编码器350
12.4.4 用Keras实现变分自编码器352
12.4.5 小结357
12.5 生成式对抗网络入门358
12.5.1 简要实现流程359
12.5.2 诸多技巧360
12.5.3 CelebA数据集360
12.5.4 判别器361
12.5.5 生成器362
12.5.6 对抗网络364
12.5.7 小结366
12.6 本章总结367
第13章 适合现实世界的最佳实践368
13.1 将模型性能发挥到极致368
13.1.1 超参数优化368
13.1.2 模型集成375
13.2 加速模型训练376
13.2.1 使用混合精度加快GPU上的训练速度377
13.2.2 多GPU训练380
13.2.3 TPU训练382
13.3 本章总结384
第14章 总结385
14.1 重点概念回顾385
14.1.1 人工智能的多种方法385
14.1.2 深度学习在机器学习领域中的特殊之处386
14.1.3 如何看待深度学习386
14.1.4 关键的推动技术387
14.1.5 机器学习的通用工作流程388
14.1.6 关键网络架构388
14.1.7 可能性空间392
14.2 深度学习的局限性394
14.2.1 将机器学习模型拟人化的风险394
14.2.2 自动机与智能体396
14.2.3 局部泛化与极端泛化397
14.2.4 智能的目的399
14.2.5 逐步提高泛化能力400
14.3 如何实现更加通用的人工智能401
14.3.1 设定正确目标的重要性：捷径法则401
14.3.2 新目标402
14.4 实现智能：缺失的内容403
14.4.1 智能是对抽象类比的敏感性404
14.4.2 两种抽象405
14.4.3 深度学习所缺失的那一半407
14.5 深度学习的未来408
14.5.1 模型即程序408
14.5.2 将深度学习与程序合成融合409
14.5.3 终身学习和模块化子程序复用411
14.5.4 长期愿景412
14.6 了解快速发展的领域的最新进展413
14.6.1 在Kaggle上练习解决现实世界的问题413
14.6.2 在arXiv上了解最新进展414
14.6.3 探索Keras生态系统414
14.7 结束语414