深度生成模型（全彩）

构建通用人工智能的关键就是无监督学习，而不需要标签来训练模型，最简单的方法就是使用深度生成模型。本书主要讲述如何将概率建模和深度学习结合起来去构建可以量化周边环境不确定性的强大的 AI 系统。这种AI系统可以从生成的角度来理解周边世界。本书涵盖了深度生成模型的多种类型，包括自回归模型、流模型、隐变量模型、基于能量的模型等。这些模型构成了以 ChatGPT 为代表的大语言模型，以及以 Stable Diffusion 为代表的扩散模型等深度生成模型背后的技术基石。 本书适合具备微积分、线性代数、概率论等大学本科水平，并且了解机器学习、Python 及PyTorch 等深度学习框架的学生、工程师和研究人员阅读。无论读者的背景如何，只要对深度生成模型有兴趣，都能从本书中获益。

Jakub M. Tomczak：阿姆斯特丹自由大学计算智能小组的人工智能助理教授、弗罗茨瓦夫理工大学机器学习博士，曾在阿姆斯特丹高通人工智能研究公司担任深度学习研究员（员工工程师），以及玛丽？斯克洛多夫斯卡-居里教授的个人研究员。研究兴趣包括概率建模、深度学习、近似贝叶斯建模和深度生成建模（特别关注变分自动编码器和基于流的模型）。
王冠，北京大学物理及计算机学士，香港科技大学物理研究型硕士，谷歌机器学习开发者专家，先后在多个学术和工业研究实验室从事机器学习、计算机视觉和自然语言处理的研发，并在保险行业应用人工智能方面有多年的经验，《Rasa实战：构建开源对话机器人》作者，发表了数篇相关领域的学术论文，拥有多项工业专利。他还是一位活跃的技术博主和开源社区贡献者，在GitHub上的开源项目获得了超过12,000个星标。

第 1 章 为什么要用深度生成模型1 1.1 AI 不只是做决策 1 1.2 在哪里使用（深度）生成模型 3 1.3 如何定义（深度）生成模型 4 1.3.1 自回归模型 5 1.3.2 流模型 5 1.3.3 隐变量模型 6 1.3.4 能量模型 7 1.3.5 概论 7 1.4 本书的目的和内容 8 1.5 参考文献 9 第 2 章 自回归模型 13 2.1简介 13 2.2 由神经网络参数化的自回归模型 14 2.2.1 有限记忆 14 2.2.2 基于循环神经网络的长距记忆 15 2.2.3 基于卷积神经网络的长距记忆 16 2.3 深度生成自回归模型实践 19 2.4 还未结束 22 2.5 参考文献 24 第 3 章 流模型27 3.1 连续随机变量的流模型 27 3.1.1 简介 27 3.1.2 深度生成网络中的变量替换 30 3.1.3 构建 RealNVP 的组件 32 3.1.4 流模型实践 33 3.1.5 代码 34 3.1.6 还未结束 38 3.1.7 ResNet 流模型和 DenseNet 流模型39 3.2 离散随机变量的流模型 41 3.2.1 简介 41 3.2.2 R 中还是 Z 中的流模型 44 3.2.3 整形离散流模型 45 3.2.4 代码 49 3.2.5 接下来的工作 53 3.3 参考文献 54 第 4 章 隐变量模型 57 4.1 简介 57 4.2 概率主成分分析 58 4.3 变分自动编码器：非线性隐变量模型的变分推理60 4.3.1 模型和目标 60 4.3.2 ELBO 的不同解读 61 4.3.3 VAE 的组件 62 4.3.4 VAE 实践 65 4.3.5 代码 66 4.3.6 VAE 的常见问题 71 4.3.7 还有更多 72 4.4 改进变分自动编码器 75 4.4.1先验 75 4.4.2 变分后验 92 4.5 分层隐变量模型 99 4.5.1简介 99 4.5.2 分层 VAE 103 4.5.3 基于扩散的深度生成模型 112 4.6 参考文献 121 第 5 章 混合建模128 5.1简介 128 5.1.1 方法一：从最简单的情况开始128 5.1.2 方法二：共享参数化 130 5.2 混合建模 130 5.3 代码实现 132 5.4代码 134 5.5后续 138 5.6 参考文献 139 第 6 章 基于能量的模型 141 6.1简介 141 6.2 模型构建 143 6.3训练 145 6.4代码 147 6.5 受限玻尔兹曼机150 6.6结语 153 6.7 参考文献 154 第 7 章 生成对抗网络 157 7.1简介 157 7.2 使用生成对抗网络做隐含建模159 7.3 代码实现 162 7.4 不同种类的生成对抗网络167 7.5 参考文献 169 第 8 章 用于神经压缩的深度生成模型 171 8.1简介 171 8.2 通用压缩方案 172 8.3 简短介绍：JPEG 174 8.4 神经压缩：组件175 8.5后续 185 8.6 参考文献 185 附录 A 一些有用的代数与运算知识 187 A.1 范数与内积 187 A.2 矩阵运算188 附录 B 一些有用的概率论和统计学知识190 B.1 常用概率分布190 B.2 统计学 192 索引 194