概率深度学习 使用Python、Keras和TensorFlow Probability

"世界充满了噪声和不确定性。概率深度学习模型可对这些噪声和不确定性进行建模，并将所建的模型应用于现实世界，帮助深度学习工程师评估其结果的准确性、发现错误，并加深他们对算法工作原理的理解。这对自动驾驶汽车和科学测试来说至关重要。 《概率深度学习使用Python、 Keras和TensorFlow Probability》 是关于神经网络原理的实践指南，引导读者学习使用不同数据类型的正确分布来提升网络性能，同时推导贝叶斯变体，以通过表达模型自身的不确定性来提高准确性。本书采用了主流的实现框架，提供了易于应用的代码，让读者更加注重实际应用。 "

探索深度学习的 MLE (maximum likelihood estimation)原理和统计学基础
发现能输出各种可能结果的概率模型
学习使用标准化流来建模和生成复杂分布
使用贝叶斯神经网络获取模型中的不确定性

"Oliver Dürr是德国康斯坦茨应用科学大学的教授，研究方向为数据科学。Beate Sick在苏黎世应用科技大学担任应用统计学教授，在苏黎世大学担任研究员和讲师，在苏黎世联邦理工学院担任讲师。Elvis Murina是一名研究科学家，负责本书附带的大量练习代码的编写。 Dürr和Sick都是机器学习和统计方面的专家。他们指导了大量以深度学习为研究方向的学士、硕士和博士论文，并策划和开展了多门研究生、硕士层次的深度学习课程。三位作者自2013年以来一直从事深度学习方法的研究，在相关教学和概率深度学习模型开发方面都拥有丰富的经验。 "

第Ⅰ部分 深度学习基础
第1章 概率深度学习简介 3
1.1 概率模型初探 4
1.2 初步了解深度学习 7
1.3 分类 10
1.3.1 传统图像分类方法 11
1.3.2 深度学习图像分类方法 15
1.3.3 非概率分类 17
1.3.4 概率分类 18
1.3.5 贝叶斯概率分类 19
1.4 曲线拟合 21
1.4.1 非概率曲线拟合 21
1.4.2 概率曲线拟合 23
1.4.3 贝叶斯概率曲线拟合 25
1.5 何时使用和何时不使用深度学习 26
1.5.1 不宜使用深度学习的情况 27
1.5.2 适宜使用深度学习的情况 27
1.5.3 何时使用和何时不使用概率模型 28
1.6 你将在本书中学到什么 28
1.7 小结 29
第2章 神经网络架构 31
2.1 全连接神经网络(fcNN) 32
2.1.1 人工神经网络的生物学原型 33
2.1.2 神经网络的实现入门 35
2.1.3 使用全连接神经网络对图像进行分类 48
2.2 用于图像类数据的卷积神经网络 56
2.2.1 卷积神经网络架构中的主要思想 57
2.2.2 “边缘爱好者”最小卷积神经网络 61
2.2.3 卷积神经网络架构的生物学起源 64
2.2.4 建立和理解卷积神经网络 66
2.3 用于序列数据的一维卷积神经网络 72
2.3.1 时序数据格式 73
2.3.2 有序数据有何特别之处 74
2.3.3 时间序列数据网络架构 75
2.4 小结 77
第3章 曲线拟合原理 79
3.1 曲线拟合中的“Hello World” 81
3.2 梯度下降法 88
3.2.1 具有一个模型自由参数的损失函数 89
3.2.2 具有两个模型自由参数的损失函数 93
3.3 深度学习中的特殊技巧 98
3.3.1 小批量梯度下降 99
3.3.2 使用随机梯度下降改进算法来加快学习速度 100
3.3.3 自动微分 100
3.4 深度学习框架中的反向传播 101
3.4.1 静态图框架 102
3.4.2 动态图框架 112
3.5 小结 114
第Ⅱ部分 概率深度学习模型的优选似然方法
第4章 优选似然定义损失函数 117
4.1 损失函数之母——优选似然原则 118
4.2 分类问题损失函数推导 124
4.2.1 二元分类问题 125
4.2.2 两个以上类别分类问题 133
4.2.3 负对数似然、交叉熵和K-L散度之间的关系 137
4.3 回归问题损失函数推导 140
4.3.1 使用无隐藏层、单输出神经网络对输入与输出的线性关系进行建模 140
4.3.2 采用具有隐藏层的神经网络对输入与输出的非线性关系进行建模 151
4.3.3 采用两输出神经网络对异方差回归任务进行建模 153
4.4 小结 159
第5章 基于TensorFlow概率编程的概率深度学习模型 161
5.1 不同概率预测模型的评价和比较 165
5.2 TFP概率编程概述 166
5.3 基于TFP概率编程的连续数据建模 171
5.3.1 常量方差线性回归模型的拟合与评估 172
5.3.2 变方差线性回归模型的拟合与评估 176
5.4 基于TFP的计数数据建模 182
5.4.1 适用于计数数据的泊松分布 187
5.4.2 扩展泊松分布为零膨胀泊松(ZIP)分布 193
5.5 小结 197
第6章 “野外世界”中的概率深度学习模型 198
6.1 高级深度学习模型中的灵活概率分布 200
6.1.1 多项式分布作为一种灵活分布 201
6.1.2 理解离散逻辑混合 204
6.2 案例研究：巴伐利亚公路伤亡事故 208
6.3 与流同行：标准化流(NF)简介 210
6.3.1 标准化流的基本原理 212
6.3.2 概率变量变换 215
6.3.3 标准化流模型拟合 222
6.3.4 链接流以实现深度变换 224
6.3.5 高维空间变换 229
6.3.6 流操作的网络实现 232
6.3.7 有趣的流模型：人脸图像采样 239
6.4 小结 245
第Ⅲ部分 概率深度学习模型的贝叶斯方法
第7章 贝叶斯学习 249
7.1 非贝叶斯深度学习的弊端，以房间里的大象为例 250
7.2 初始贝叶斯方法 255
7.2.1 贝叶斯模型：黑客式 255
7.2.2 我们刚刚做了什么 260
7.3 贝叶斯概率模型 261
7.3.1 贝叶斯模型训练和预测 263
7.3.2 投掷硬币，贝叶斯模型的“Hello World” 270
7.3.3 贝叶斯线性回归模型回顾 282
7.4 小结 288
第8章 贝叶斯神经网络 289
8.1 贝叶斯神经网络概述 291
8.2 变分推理贝叶斯近似 293
8.2.1 深入了解变分推理 294
8.2.2 变分推理简单应用 300
8.3 变分推理TFP实现 309
8.4 蒙特卡罗dropout贝叶斯近似 312
8.4.1 经典dropout训练方法 313
8.4.2 在训练和测试过程中采用蒙特卡罗dropout 317
8.5 案例研究 320
8.5.1 回归中的外推问题 320
8.5.2 分类任务中新类别问题 326
8.6 小结 336
术语和缩写词的词表 337