深度学习入门

本书是畅销书“深度学习入门&进阶”系列第五本书，主要围绕生成模型进行讲解。生成模型是一种非常重要的技术，对于人工智能的发展有着重要的作用。本书延续了作者通俗易懂的行文风格，以深入浅出的方式介绍正态分布到扩散模型所涉及的技术，并最终完成一个类似于Stable Diffusion的图像生成人工智能。读者可在创建这个图像生成人工智能的过程中学习各类技术，边做边思考，体会到技术的有趣之处蕴藏在各个细节中这一点，从而加深对生成模型的理解。

斋藤康毅，1984年出生于日本长崎县，东京工业大学毕业，并完成东京大学研究生院课程。目前在某企业从事人工智能相关的研究和开发工作。著有“深度学习入门&进阶”系列《深度学习入门：基于Python的理论与实现》《深度学习进阶：自然语言处理》《深度学习入门2：自制框架》《深度学习入门4：强化学习》，同时也是Python in Practice、The Elements of Computing Systems、Building Machine Learning Systems with Python的日文版译者。

前言 步骤1　正态分布 1 1.1　概率的基础知识 1 1.1.1　随机变量和概率分布 1 1.1.2　概率分布的类型 3 1.1.3　期望值和方差 4 1.2　正态分布 6 1.2.1　正态分布的概率密度函数 6 1.2.2　正态分布的代码实现 7 1.2.3　参数的作用 9 1.3　中心极限定理 11 1.3.1　什么是中心极限定理 11 1.3.2　中心极限定理的实验 12 1.4　样本和的概率分布 15 1.4.1　样本和的期望值和方差 15 1.4.2　通过代码确认 16 1.4.3　均匀分布的均值和方差★ 18 1.5　身边的正态分布 19 步骤2　最大似然估计 22 2.1　生成式模型的基础知识 22 2.1.1　什么是生成式模型 22 2.1.2　总体和样本 23 2.2　使用真实数据实现生成式模型 24 2.2.1　读取身高数据集 25 2.2.2　基于正态分布的生成式模型 26 2.3　最大似然估计的理论知识 28 2.3.1　似然的最大化 29 2.3.2　利用导数求最大值 30 2.3.3　正态分布的最大似然估计★ 31 2.4　生成式模型的用途 35 2.4.1　新的数据的生成 35 2.4.2　概率的计算 38 步骤3　多维正态分布 41 3.1　NumPy 和多维数组 41 3.1.1　多维数组 41 3.1.2　NumPy 中的多维数组 43 3.1.3　逐元素的运算 44 3.1.4　向量的内积和矩阵积 44 3.2　多维正态分布 46 3.2.1　多维正态分布的数学式 47 3.2.2　多维正态分布的实现 52 3.3　二维正态分布的可视化 54 3.3.1　三维图形的绘制方法 54 3.3.2　等高线的绘制 57 3.3.3　二维正态分布的图形 58 3.4　多维正态分布的最大似然估计 61 3.4.1　进行最大似然估计 61 3.4.2　最大似然估计的实现 63 3.4.3　使用真实数据 65 步骤4　高斯混合模型 67 4.1　我们身边的多峰分布 67 4.1.1　多峰分布的数据集 69 4.2　高斯混合模型的数据生成 70 4.2.1　利用GMM 生成数据 71 4.2.2　生成数据的代码 72 4.3　GMM 的数学式 74 4.3.1　概率的复习 74 4.3.2　GMM 的数学式 74 4.3.3　GMM 的实现 77 4.4　参数估计中的难点 79 4.4.1　GMM 的参数估计 79 步骤5　EM 算法 81 5.1　KL 散度 81 5.1.1　关于数学式的表示方法 81 5.1.2　KL 散度的定义式 82 5.1.3　KL 散度与最大似然估计之间的关系 85 5.2　EM 算法的推导① 87 5.2.1　拥有潜变量的模型 88 5.2.2　任意概率分布 89 5.3　EM 算法的推导② 91 5.3.1　ELBO（证据的下限） 91 5.3.2　进入EM 算法 92 5.3.3　扩展到多个数据 96 5.3.4　的证明★ 97 5.4　GMM 和EM 算法★ 98 5.4.1　EM 算法的E 步骤★ 98 5.4.2　EM 算法的M 步骤★ 100 5.5　EM 算法的实现 104