机器学习的数学基础

本书弥补了纯数学书籍和机器学习书籍存在的单一性问题，介绍了理解机器学习所需的必备数学概念，例如线性代数、解析几何、矩阵分解、向量微积分、优化、概率和统计，并使用这些概念推导出了四种核心机器学习方法：线性回归、主成分分析、高斯混合模型和支持向量机。本书每一章都包括一些例子，大部分章还配有习题，以方便读者测试对所学知识的理解程度。本书适合数据科学专业和计算机科学专业的学生，以及算法工程师与机器学习领域相关从业者阅读。

马克·彼得·戴森罗特<br />（Marc Peter Deisenroth）　 <br />伦敦大学学院计算机科学系的 DeepMind人工智能主席、2012年欧洲强化学习研讨会（EWRL）的项目主席、2013年机器人科学与系统（RSS）研讨会的主席。他曾在伦敦帝国理工学院计算机系任教。他的研究领域包括数据高效学习、概率建模和自主决策，曾获得2014年国际机器人与自动化会议（ICRA）和2016年国际控制、自动化和系统会议（ICCAS）的最佳论文奖，是谷歌教师研究奖（Google Faculty Research Award）和微软博士资助的获得者。2018年，他被授予伦敦帝国理工学院杰出青年研究员总统奖（President's Award for Outstanding Early Career Researcher）。<br /><br />A. 阿尔多·费萨尔<br />（A. Aldo Faisal）　<br />伦敦帝国理工学院大脑和行为实验室的负责人、该学院生物工程和计算系的教师、数据科学研究所的研究员。他是UKRI医疗保健人工智能博士培训中心的主任。他在德国比勒费尔德大学修了计算机科学和物理学专业，在剑桥大学获得计算神经科学博士学位后成为计算和生物学习实验室的一位初级研究员。他研究的是神经科学和机器学习的交叉领域，以理解人类大脑和行为并对其进行逆向工程。<br /><br />翁承顺<br />（Cheng Soon Ong）<br />堪培拉联邦科学与工业研究组织（CSIRO）Data61机器学习研究小组的首席研究科学家、澳大利亚国立大学的兼职副教授。他的研究重点是通过扩展统计机器学习方法来实现科学发现。他于2005年在澳大利亚国立大学获得计算机科学博士学位，曾在苏黎世联邦理工学院计算机科学系担任讲师，在墨尔本NICTA的诊断基因组学团队工作。

译者序<br />前言<br />符号表<br />缩略语和首字母缩略词表<br />第一部分 数学基础<br />第 1 章 引言与动机 2<br />1.1 寻找直观的词语 2<br />1.2 阅读本书的两种方法 3<br />习题和反馈 6<br />第 2 章 线性代数 7<br />2.1 线性方程组 9<br />2.2 矩阵12<br />2.2.1 矩阵加法与乘法 12<br />2.2.2 逆和转置 15<br />2.2.3 标量乘法 16<br />2.2.4 线性方程组的简洁表示 17<br />2.3 解线性方程组 17<br />2.3.1 特解和通解 18<br />2.3.2 初等变换 19<br />2.3.3 -1 技巧 23<br />2.3.4 求解线性方程组的算法 25<br />2.4 向量空间 26<br />2.4.1 群 26<br />2.4.2 向量空间 27<br />2.4.3 向量子空间 29<br />2.5 线性无关 30<br />2.6 基与秩 34<br />2.6.1 生成集与基 34<br />2.6.2 秩 36<br />2.7 线性映射 37<br />2.7.1 线性映射的矩阵表示 39<br />2.7.2 基变换 42<br />2.7.3 象与核 47<br />2.8 仿射空间 49<br />2.8.1 仿射子空间 49<br />2.8.2 仿射映射 51<br />2.9 延伸阅读 51<br />习题 52<br />第 3 章 解析几何 60<br />3.1 范数61<br />3.2 内积62<br />3.2.1 点积 62<br />3.2.2 一般内积 62<br />3.2.3 对称正定矩阵 63<br />3.3 长度和距离 64<br />3.4 角度和正交性 66<br />3.5 标准正交基 68<br />3.6 正交补 69<br />3.7 函数内积 70<br />3.8 正交投影 71<br />3.8.1 一维子空间 (线) 的投影 72<br />3.8.2 投影到一般子空间上 75<br />3.8.3 Gram - Schmidt 正交化 78<br />3.8.4 在仿射子空间上的投影 79<br />3.9 旋转80<br />3.9.1 在 R2 上旋转 81<br />3.9.2 在 R3 上旋转 82<br />3.9.3 在 Rn 上旋转 83<br />3.9.4 旋转的性质 83<br />3.10 延伸阅读 84<br />习题 84<br />第 4 章 矩阵分解 87<br />4.1 行列式和迹 88<br />4.2 特征值和特征向量 94<br />4.3 Cholesky 分解 101<br />4.4 特征分解和对角化 103<br />4.5 奇异值分解 106<br />4.5.1 SVD 的几何直观 107<br />4.5.2 SVD 的构造 110<br />4.5.3 特征分解与奇异值分解 114<br />4.6 矩阵近似 116<br />4.7 矩阵发展史 120<br />4.8 延伸阅读 122<br />习题 123<br />第 5 章 向量微积分 126<br />5.1 一元函数的微分 128<br />5.1.1 泰勒级数 129<br />5.1.2 求导法则 132<br />5.2 偏微分和梯度 133<br />5.2.1 偏微分的基本法则 134<br />5.2.2 链式法则 135<br />5.3 向量值函数的梯度 136<br />5.4 矩阵梯度 142<br />5.5 梯度计算中的常用等式 145<br />5.6 反向传播与自动微分 146<br />5.6.1 深度网络中的梯度 146<br />5.6.2 自动微分 148<br />5.7 高阶导数 151<br />5.8 线性化和多元泰勒级数 152<br />5.9 延伸阅读 157<br />习题 157<br />第 6 章 概率和分布 160<br />6.1 概率空间的构造 161<br />6.1.1 哲学问题 161<br />6.1.2 概率与随机变量 162<br />6.1.3 统计 164<br />6.2 离散概率和连续概率 165<br />6.2.1 离散概率 165<br />6.2.2 连续概率 166<br />6.2.3 离散分布和连续分布<br />的对比 168<br />6.3 加法法则、乘法法则和<br />贝叶斯定理.169<br />6.4 概要统计量和独立性 172<br />6.4.1 均值与方差 172<br />6.4.2 经验均值与协方差 176<br />6.4.3 方差的三种表达 177<br />6.4.4 随机变量的求和与变换 178<br />6.4.5 统计独立性 179<br />6.4.6 随机变量的内积 180<br />6.5 高斯分布 181<br />6.5.1 高斯分布的边缘分布和<br />条件分布是高斯分布 183<br />6.5.2 高斯密度的乘积 185<br />6.5.3 求和与线性变换 185<br />6.5.4 多元高斯分布抽样 188<br />6.6 共轭与指数族 188<br />6.6.1 共轭 191<br />6.6.2 充分统计量 193<br />6.6.3 指数族 193<br />6.7 变量替换/逆变换 196<br />6.7.1 分布函数技巧 197<br />6.7.2 变量替换 199<br />6.8 延伸阅读 202<br />习题 203<br />第 7 章 连续优化 206<br />7.1 使用梯度下降的优化 208<br />7.1.1 步长 210<br />7.1.2 动量梯度下降法 211<br />7.1.3 随机梯度下降 211<br />7.2 约束优化和拉格朗日乘子 213<br />7.3 凸优化 216<br />7.3.1 线性规划 219<br />7.3.2 二次规划 221<br />7.3.3 Legendre-Fenchel<br />变换和凸共轭 222<br />7.4 延伸阅读 225<br />习题 226<br />第二部分 机器学习的核心问题<br />第 8 章 模型结合数据 230<br />8.1 数据、模型与学习 230<br />8.1.1 用向量表示数据 231<br />8.1.2 模型的函数表示 233<br />8.1.3 模型的概率分布表示 234<br />8.1.4 学习即寻找参数 235<br />8.2 经验风险最小化 236<br />8.2.1 函数的假设类别 236<br />8.2.2 训练数据的损失函数 237<br />8.2.3 正则化以减少过拟合 238<br />8.2.4 用交叉验证评估<br />泛化性能 240<br />8.2.5 延伸阅读 241<br />8.3 参数估计 241<br />8.3.1 最大似然估计 241<br />8.3.2 最大后验估计 244<br />8.3.3 模型拟合 245<br />8.3.4 延伸阅读 246<br />8.4 概率建模与推理 247<br />8.4.1 概率模型 247<br />8.4.2 贝叶斯推理 248<br />8.4.3 隐变量模型 249<br />8.4.4 延伸阅读 251<br />8.5 有向图模型 251<br />8.5.1 图语义 252<br />8.5.2 条件独立和 d 分离 254<br />8.5.3 延伸阅读 255<br />8.6 模型选择 255<br />8.6.1 嵌套交叉验证 256<br />8.6.2 贝叶斯模型选择 257<br />8.6.3 模型比较的贝叶斯因子 259<br />8.6.4 延伸阅读 260<br />第 9 章 线性回归 261<br />9.1 界定问题 262<br />9.2 参数估计 264<br />9.2.1 最大似然估计 264<br />9.2.2 线性回归中的过拟合 269<br />9.2.3 最大后验估计 271<br />9.2.4 作为正则化的 MAP 估计 273<br />9.3 贝叶斯线性回归 274<br />9.3.1 模型 275<br />9.3.2 先验预测 275<br />9.3.3 后验分布 277<br />9.3.4 后验预测 279<br />9.3.5 边缘似然的计算 281<br />9.4 最大似然作为正交投影 283<br />9.5 延伸阅读 285<br />第 10 章 用主成分分析进行降维 287<br />10.1 提出问题 288<br />10.2 最大化方差.290<br />10.2.1 具有最大方差的方向 291<br />10.2.2 具有最大方差的<br />M 维子空间 292<br />10.3 投影视角 295<br />10.3.1 背景和目标 295<br />10.3.2 寻找最优坐标 297<br />10.3.3 寻找主子空间的基 299<br />10.4 特征向量计算和<br />低秩逼近 302<br />10.4.1 PCA 使用低秩<br />矩阵近似 303<br />10.4.2 实践方面 303<br />10.5 高维中的主成分分析 304<br />10.6 主成分分析实践中的<br />关键步骤 305<br />10.7 隐变量视角 308<br />10.7.1 生成过程和概率模型 309<br />10.7.2 似然函数和联合分布 310<br />10.7.3 后验分布 311<br />10.8 延伸阅读 312<br />第 11 章 高斯混合模型的<br />密度估计 316<br />11.1 高斯混合模型 317<br />11.2 通过最大似然进行<br />参数学习 318<br />11.2.1 响应度 320<br />11.2.2 更新均值 321<br />11.2.3 更新协方差 323<br />11.2.4 更新混合权重 326<br />11.3 EM 算法 328<br />11.4 隐变量视角 331<br />11.4.1 生成过程与概率模型 331<br />11.4.2 似然 333<br />11.4.3 后验分布 334<br />11.4.4 扩展到完整数据集 334<br />11.4.5 再探 EM 算法 335<br />11.5 延伸阅读 336<br />第 12 章 用支持向量机进行分类 338<br />12.1 分离超平面 340<br />12.2 原始支持向量机 341<br />12.2.1 间隔的概念 342<br />12.2.2 间隔的传统推导 344<br />12.2.3 为什么可以设定间隔<br />的长度为 1 345<br />12.2.4 软间隔 SVM:<br />几何观点 347<br />12.2.5 软间隔 SVM: 损失<br />函数观点 348<br />12.3 对偶支持向量机 350<br />12.3.1 由拉格朗日乘子<br />导出凸对偶 351<br />12.3.2 对偶 SVM: 凸包观点353<br />12.4 核355<br />12.5 数值解 357<br />12.6 延伸阅读 359<br />参考文献 361