机器学习入门:基于贝叶斯推论的机器学习

机器学习作为人工智能*基础的理论之一一直占有举足轻重的地位，真正的学透、学好机器入门不仅仅是在机器学习框架上的探索，更重要的是要学习其基本的理论，从根上找到机器学习的方法、理解机器学习的真谛。《机器学习入门》正是这样一本，从贝叶斯推论讲起的参考读物，为您提供了深入理解机器学习的途径，找到了学习的方法。

作为机器学习的核心，《机器学入门》介绍了基于贝叶斯推论的机器学习，其基本思想是将数据及数据产生的过程视为随机事件，从数据的固有特征开始，通过一系列假设来进行数据的描述，进而构建出与机器学习任务相适应的随机模型，然后通过模型的解析求解或近似求解得出未知事件的预测模型。通过贝叶斯学习，我们可以了解到更多关于数据的信息，进而可以大致清楚进行学习的神经网络的规模和复杂程度。更重要的是，当神经网络学习中出现问题时，通过贝叶斯学习可以找到解决问题的方向和途径。因此，可以说贝叶斯学习是深度神经网络学习的理论基础，也是进行神经网络学习的必修课。本书在内容安排上，尽可能对概率统计和随机过程的基础进行了较为完整的介绍，并对常用的概率分布进行了详尽的分析。在此基础上重点介绍了单一模型及混合模型的贝叶斯推论方法，并结合具体应用进行了扩展和分析。在注重理论介绍的同时也考虑到了实际的应用扩展，从而保证了读者学习的完整性。其所给出的随机模型分析、构建及求解方法力图详尽，对读者进行贝叶斯方法的学习和实际应用具有较高的指导和参考价值。

须山敦志，2009年东京工业大学工学部信息工程专业毕业。 2011年完成东京大学大学院信息工程系研究科博士前期课程。 先后在日本制造企业，英国风险企业从事研究工作。现从事与数据解析相关的指导工作。通过「玩编程进行机器学习」推送（介绍）一些实践性的机器学习技术。

译者序 原书序 原书前言 第1章 机器学习与贝叶斯学习 1 1.1 什么是机器学习? 1 1.2 机器学习的典型任务 2 1.2.1 回归 2 1.2.2 分类 3 1.2.3 聚类 4 1.2.4 降维 4 1.2.5 其他典型任务 6 1.3 机器学习的两类方法 6 1.3.1 基于工具箱的机器学习 6 1.3.2 基于建模的机器学习 7 1.4 概率的基本计算 8 1.4.1 概率分布 8 1.4.2 概率分布的推定 9 1.4.3 红球和白球问题 11 1.4.4 多个观测数据 13 1.4.5 逐次推论 15 1.4.6 参数未知的情况 15 1.5 图模型 16 1.5.1 有向图 17 1.5.2 节点的附加条件 18 1.5.3 马尔可夫覆盖 20 1.6 贝叶斯学习方法 20 1.6.1 模型的构建和推论 20 1.6.2 各类任务中的贝叶斯推论 21 1.6.3 复杂后验分布的近似 241.6.4 基于不确定性的决策 251.6.5 贝叶斯学习的优点与缺点 26 第2章 基本的概率分布 302.1 期望值302.1.1 期望值的定义 302.1.2 基本的期望值 302.1.3 熵 312.1.4 KL散度 322.1.5 抽样的期望值近似计算 322.2 离散概率分布332.2.1 伯努利分布 332.2.2 二项分布 352.2.3 类分布 362.2.4 多项分布 372.2.5 泊松分布 382.3 连续概率分布402.3.1 Beta分布 402.3.2 Dirichlet分布 412.3.3 Gamma分布 432.3.4 一维高斯分布 442.3.5 多维高斯分布 452.3.6 Wishart分布 48 第3章 基于贝叶斯推论的学习和预测 513.1 学习和预测513.1.1 参数的后验分布 513.1.2 预测分布 523.1.3 共轭先验分布 533.1.4 非共轭先验分布的运用 543.2 离散概率分布的学习和预测553.2.1 伯努利分布的学习和预测 553.2.2 类分布的学习和预测 593.2.3 泊松分布的学习和预测 613.3 一维高斯分布的学习和预测633.3.1 均值未知的情况 633.3.2 精度未知的情况 663.3.3 均值和精度均未知的情况 683.4 多维高斯分布的学习和预测713.4.1 均值未知的情况 713.4.2 精度未知的情况 733.4.3 均值和精度均未知的情况 753.5 线性回归的例子773.5.1 模型的构建 773.5.2 后验分布和预测分布的计算 783.5.3 模型的比较 80 第4章 混合模型和近似推论 844.1 混合模型和后验分布的推论844.1.1 使用混合模型的理由 844.1.2 混合模型的数据生成过程 854.1.3 混合模型的后验分布 874.2 概率分布的近似方法884.2.1 吉布斯采样 88 4.2.2 变分推论 904.3 泊松混合模型的推论934.3.1 泊松混合模型 934.3.2 吉布斯采样 944.3.3 变分推论 974.3.4 折叠式吉布斯采样 1004.3.5 简易实验 1054.4 高斯混合模型中的推论1064.4.1 高斯混合模型 1064.4.2 吉布斯采样 1074.4.3 变分推论 1104.4.4 折叠式吉布斯采样 1134.4.5 简易实验 115 第5章 应用模型的构建和推论 1195.1 线性降维1195.1.1 模型 1205.1.2 变分推论 1205.1.3 数据的不可逆压缩 1235.1.4 缺失值内插 1245.2 非负值矩阵因子分解1265.2.1 模型 1275.2.2 变分推论 1295.3 隐马尔可夫模型1325.3.1 模型 1335.3.2 接近分解变分推论 1355.3.3 结构化变分推论 1395.4 主题模型1435.4.1 模型 1435.4.2 变分推论 1465.4.3 折叠式吉布斯采样 1485.4.4LDA模型的应用与扩展 1515.5 张量分解1515.5.1 协同过滤 1525.5.2 模型 1545.5.3 变分推论 1555.5.4 缺失值的内插 1605.6 logistic回归1615.6.1 模型 1615.6.2 变分推论 1625.6.3 离散值的预测 1655.7 神经网络1665.7.1 模型 1675.7.2 变分推论 1685.7.3 连续值的预测 169 附录A 相关计算的补充 171A.1 基本的矩阵计算171A.1.1 转置 171A.1.2 逆矩阵 171A.1.3 矩阵的迹 172 A.1.4 方阵的行列式 172A.1.5 正定值矩阵 172A.2 特殊函数173A.2.1gamma函数和digamma函数 173A.2.2sigmoid函数和softmax函数 173A.3 梯度法174A.3.1 函数的梯度 174A.3.2 最速下降法 175A.3.3 坐标下降法 175A.4 边缘似然度下限176A.4.1 边缘似然度和ELBO 176A.4.2 泊松混合分布的例子 177 参考文献 178