机器学习的数学基础

理解机器学习所需的基本数学工具包括线性代数、解析几何、矩阵分解、向量微积分、优化、概率和统计。传统上，这些主题是在不同的课程中介绍的，这使得数据科学或计算机科学专业的学生或者专业人士很难有效地学习数学基础。本书弥补了纯数学书籍和机器学习书籍存在的单一性问题，介绍了理解机器学习必备的数学概念，并使用这些概念推导出了四种核心机器学习方法：线性回归、主成分分析、高斯混合模型和支持向量机。对于学生和其他具有数学背景的人来说，这些推导可以作为理解机器学习的一个起点。对于首次学习数学的人来说，这些方法有助于建立应用数学概念的直觉和实践经验。本书每一章都包括一些例子，大部分章还配有习题，以便读者检验和巩固所学知识。

理解机器学习所需的基本数学工具包括线性代数、解析几何、矩阵分解、向量微积分、优化、概率和统计。传统上，这些主题是在不同的课程中介绍的，这使得数据科学或计算机科学专业的学生或者专业人士很难有效地学习数学基础。本书弥补了纯数学书籍和机器学习书籍存在的单一性问题，介绍了理解机器学习必备的数学概念，并使用这些概念推导出了四种核心机器学习方法：线性回归、主成分分析、高斯混合模型和支持向量机。对于学生和其他具有数学背景的人来说，这些推导可以作为理解机器学习的一个起点。对于首次学习数学的人来说，这些方法有助于建立应用数学概念的直觉和实践经验。本书每一章都包括一些例子，大部分章还配有习题，以便读者检验和巩固所学知识。

译者序
前言
符号表
缩略语和首字母缩略词表
第一部分 数学基础
第1章 引言与动机 2
1.1 寻找直观的词语 2
1.2 阅读本书的两种方法 3
习题和反馈 6
第2章 线性代数 7
2.1 线性方程组 9
2.2 矩阵12
2.2.1 矩阵加法与乘法 12
2.2.2 逆和转置 15
2.2.3 标量乘法 16
2.2.4 线性方程组的简洁表示 17
2.3 解线性方程组 17
2.3.1 特解和通解 18
2.3.2 初等变换 19
2.3.3 -1 技巧 23
2.3.4 求解线性方程组的算法 25
2.4 向量空间 26
2.4.1 群 26
2.4.2 向量空间 27
2.4.3 向量子空间 29
2.5 线性无关 30
2.6 基与秩 34
2.6.1 生成集与基 34
2.6.2 秩 36
2.7 线性映射 37
2.7.1 线性映射的矩阵表示 39
2.7.2 基变换 42
2.7.3 象与核 47
2.8 仿射空间 49
2.8.1 仿射子空间 49
2.8.2 仿射映射 51
2.9 延伸阅读 51
习题 52
第3章 解析几何 60
3.1 范数61
3.2 内积62
3.2.1 点积 62
3.2.2 一般内积 62
3.2.3 对称正定矩阵 63
3.3 长度和距离 64
3.4 角度和正交性 66
3.5 标准正交基 68
3.6 正交补 69
3.7 函数内积 70
3.8 正交投影 71
3.8.1 一维子空间 (线) 的投影 72
3.8.2 投影到一般子空间上 75
3.8.3 Gram-Schmidt 正交化 78
3.8.4 在仿射子空间上的投影 79
3.9 旋转80
3.9.1 在 R2 上旋转 81
3.9.2 在 R3 上旋转 82
3.9.3 在 Rn 上旋转 83
3.9.4 旋转的性质 83
3.10 延伸阅读 84
习题 84
第4章 矩阵分解 87
4.1 行列式和迹 88
4.2 特征值和特征向量 94
4.3 Cholesky 分解 101
4.4 特征分解和对角化 103
4.5 奇异值分解 106
4.5.1 SVD 的几何直观 107
4.5.2 SVD 的构造 110
4.5.3 特征分解与奇异值分解 114
4.6 矩阵近似 116
4.7 矩阵发展史 120
4.8 延伸阅读 122
习题 123
第5章 向量微积分 126
5.1 一元函数的微分 128
5.1.1 泰勒级数 129
5.1.2 求导法则 132
5.2 偏微分和梯度 133
5.2.1 偏微分的基本法则 134
5.2.2 链式法则 135
5.3 向量值函数的梯度 136
5.4 矩阵梯度 142
5.5 梯度计算中的常用等式 145
5.6 反向传播与自动微分 146
5.6.1 深度网络中的梯度 146
5.6.2 自动微分 148
5.7 高阶导数 151
5.8 线性化和多元泰勒级数 152
5.9 延伸阅读 157
习题 157
第6章 概率和分布 160
6.1 概率空间的构造 161
6.1.1 哲学问题 161
6.1.2 概率与随机变量 162
6.1.3 统计 164
6.2 离散概率和连续概率 165
6.2.1 离散概率 165
6.2.2 连续概率 166
6.2.3 离散分布和连续分布的对比 168
6.3 加法法则、乘法法则和贝叶斯定理.169
6.4 概要统计量和独立性 172
6.4.1 均值与方差 172
6.4.2 经验均值与协方差 176
6.4.3 方差的三种表达 177
6.4.4 随机变量的求和与变换 178
6.4.5 统计独立性 179
6.4.6 随机变量的内积 180
6.5 高斯分布 181
6.5.1 高斯分布的边缘分布和条件分布是高斯分布 183
6.5.2 高斯密度的乘积 185
6.5.3 求和与线性变换 185
6.5.4 多元高斯分布抽样 188
6.6 共轭与指数族 188
6.6.1 共轭 191
6.6.2 充分统计量 193
6.6.3 指数族 193
6.7 变量替换/逆变换 196
6.7.1 分布函数技巧 197
6.7.2 变量替换 199
6.8 延伸阅读 202
习题 203
第7章 连续优化 206
7.1 使用梯度下降的优化 208
7.1.1 步长 210
7.1.2 动量梯度下降法 211
7.1.3 随机梯度下降 211
7.2 约束优化和拉格朗日乘子 213
7.3 凸优化 216
7.3.1 线性规划 219
7.3.2 二次规划 221
7.3.3 Legendre-Fenchel变换和凸共轭 222
7.4 延伸阅读 225
习题 226
第二部分 机器学习的核心问题
第8章 模型结合数据 230
8.1 数据、模型与学习 230
8.1.1 用向量表示数据 231
8.1.2 模型的函数表示 233
8.1.3 模型的概率分布表示 234
8.1.4 学习即寻找参数 235
8.2 经验风险最小化 236
8.2.1 函数的假设类别 236
8.2.2 训练数据的损失函数 237
8.2.3 正则化以减少过拟合 238
8.2.4 用交叉验证评估泛化性能 240
8.2.5 延伸阅读 241
8.3 参数估计 241
8.3.1 最大似然估计 241
8.3.2 最大后验估计 244
8.3.3 模型拟合 245
8.3.4 延伸阅读 246
8.4 概率建模与推理 247
8.4.1 概率模型 247
8.4.2 贝叶斯推理 248
8.4.3 隐变量模型 249
8.4.4 延伸阅读 251
8.5 有向图模型 251
8.5.1 图语义 252
8.5.2 条件独立和 d 分离 254
8.5.3 延伸阅读 255
8.6 模型选择 255
8.6.1 嵌套交叉验证 256
8.6.2 贝叶斯模型选择 257
8.6.3 模型比较的贝叶斯因子 259
8.6.4 延伸阅读 260
第9章 线性回归 261
9.1 界定问题 262
9.2 参数估计 264
9.2.1 最大似然估计 264
9.2.2 线性回归中的过拟合 269
9.2.3 最大后验估计 271
9.2.4 作为正则化的 MAP 估计 273
9.3 贝叶斯线性回归 274
9.3.1 模型 275
9.3.2 先验预测 275
9.3.3 后验分布 277
9.3.4 后验预测 279
9.3.5 边缘似然的计算 281
9.4 最大似然作为正交投影 283
9.5 延伸阅读 285
第10章 用主成分分析进行降维 287
10.1 提出问题 288
10.2 最大化方差.290
10.2.1 具有最大方差的方向 291
10.2.2 具有最大方差的M 维子空间 292
10.3 投影视角 295
10.3.1 背景和目标 295
10.3.2 寻找最优坐标 297
10.3.3 寻找主子空间的基 299
10.4 特征向量计算和低秩逼近 302
10.4.1 PCA 使用低秩矩阵近似 303
10.4.2 实践方面 303
10.5 高维中的主成分分析 304
10.6 主成分分析实践中的关键步骤 305
10.7 隐变量视角 308
10.7.1 生成过程和概率模型 309
10.7.2 似然函数和联合分布 310
10.7.3 后验分布 311
10.8 延伸阅读 312
第11章 高斯混合模型的密度估计 316
11.1 高斯混合模型 317
11.2 通过最大似然进行参数学习 318
11.2.1 响应度 320
11.2.2 更新均值 321
11.2.3 更新协方差 323
11.2.4 更新混合权重 326
11.3 EM 算法 328
11.4 隐变量视角 331
11.4.1 生成过程与概率模型 331
11.4.2 似然 333
11.4.3 后验分布 334
11.4.4 扩展到完整数据集 334
11.4.5 再探 EM 算法 335
11.5 延伸阅读 336
第12章 用支持向量机进行分类 338
12.1 分离超平面 340
12.2 原始支持向量机 341
12.2.1 间隔的概念 342
12.2.2 间隔的传统推导 344
12.2.3 为什么可以设定间隔的长度为 1 345
12.2.4 软间隔 SVM：几何观点 347
12.2.5 软间隔 SVM：损失函数观点 348
12.3 对偶支持向量机 350
12.3.1 由拉格朗日乘子导出凸对偶 351
12.3.2 对偶 SVM：凸包观点353
12.4 核355
12.5 数值解 357
12.6 延伸阅读 359
参考文献 361