矩阵力量（线性代数全彩图解 + 微课 + Python编程）（鸢尾花数学大系：从加减乘除到机器学习）

\"数据科学和机器学习已经深度融合到我们生活的方方面面，而数学正是开启未来大门的钥匙。不是所 有人生来都握有一副好牌，但是掌握“数学 + 编程 + 机器学习”绝对是王牌。这一次，学习数学不再是为了考试、分数、升学，而是投资时间、自我实现、面向未来。为了让大家学数学、用数学，甚至爱上数学， 在创作这套书时，作者尽量克服传统数学教材的各种弊端，让大家学习时有兴趣、看得懂、有思考、更自信、用得着。 鸢尾花书有三大板块——编程、数学、实践。数据科学、机器学习的各种算法离不开数学，本册《矩阵力量》是“数学”板块的第 2 本，主要介绍常用线性代数工具。任何数学工具想要从一元推广到多元，比如多元微积分、多元统计，都绕不开线性代数。 《矩阵力量：线性代数全彩图解 + 微课 + Python编程》共 25 章内容，可以归纳为 7 大板块：向量、矩阵、向量空间、矩阵分解、微积分、空间几何、数据。《矩阵力量：线性代数全彩图解 + 微课 + Python编程》在讲解线性代数工具时，会穿插介绍其在数据科学和机器学习领域的应用场景，让大家学以致用。《矩阵力量：线性代数全彩图解 + 微课 + Python编程》读者群包括所有在工作中应用数学的朋友，尤其适用于初级程序员进阶，大学本科数学开窍，高级数据分析师，人工智能开发者。 \"

\"姜伟生 博士 FRM。 勤奋的小镇做题家，热爱知识可视化和开源分享。自2022年8月开始，在GitHub上开源“鸢尾花书”学习资源，截至2023年6月，已经分享3000多页PDF、3000多幅矢量图、约1000个代码文件，全球读者数以万计。 \"

绪论 1 第1章 不止向量 7 1.1 有数据的地方，必有矩阵 8 1.2 有矩阵的地方，更有向量 10 1.3 有向量的地方，就有几何 12 1.4 有几何的地方，皆有空间 17 1.5 有数据的地方，定有统计 20 第2章 向量运算 23 2.1 向量：多面手 25 2.2 行向量、列向量 27 2.3 向量长度：模，欧氏距离，L2范数 31 2.4 加减法：对应位置元素分别相加减 35 2.5 标量乘法：向量缩放 36 2.6 向量内积：结果为标量 37 2.7 向量夹角：反余弦 43 2.8 余弦相似度和余弦距离 45 2.9 向量积：结果为向量 47 2.10 逐项积：对应元素分别相乘 50 2.11 张量积：张起网格面 51 第3章 向量范数 57 3.1 Lp范数：L2范数的推广 58 3.2 Lp范数和超椭圆的联系 61 3.3 L1范数：旋转正方形 64 3.4 L2范数：正圆 66 3.5 L∞范数：正方形 69 3.6 再谈距离度量 71 第4章 矩阵 77 4.1 矩阵：一个不平凡的表格 79 4.2 矩阵形状：每种形状都有特殊用途 81 4.3 基本运算：加减和标量乘法 85 4.4 广播原则 86 4.5 矩阵乘法：线性代数的运算核心 88 4.6 两个视角解剖矩阵乘法 90 4.7 转置：绕主对角线镜像 92 4.8 矩阵逆：“相当于”除法运算 94 4.9 迹：主对角元素之和 95 4.10 逐项积：对应元素相乘 97 4.11 行列式：将矩阵映射到标量值 98 第5章 矩阵乘法 105 5.1 矩阵乘法：形态丰富多样 107 5.2 向量和向量 107 5.3 再聊全1列向量 112 5.4 矩阵乘向量：线性方程组 116 5.5 向量乘矩阵乘向量：二次型 120 5.6 方阵乘方阵：矩阵分解 123 5.7 对角阵：批量缩放 124 5.8 置换矩阵：调换元素顺序 127 5.9 矩阵乘向量：映射到一维 128 5.10 矩阵乘矩阵：映射到多维 130 5.11 长方阵：奇异值分解、格拉姆矩阵、张量积 133 5.12 爱因斯坦求和约定 136 5.13 矩阵乘法的几个雷区 138 第6章 分块矩阵 143 6.1 分块矩阵：横平竖直切豆腐 145 6.2 矩阵乘法第一视角：标量积展开 149 6.3 矩阵乘法第二视角：外积展开 150 6.4 矩阵乘法更多视角：分块多样化 154 6.5 分块矩阵的逆 160 6.6 克罗内克积：矩阵张量积 160 第7章 向量空间 165 7.1 向量空间：从直角坐标系说起 166 7.2 给向量空间涂颜色：RGB色卡 178 7.3 张成空间：线性组合红、绿、蓝三原色 179 7.4 线性无关：红色和绿色，调不出青色 183 7.5 非正交基底：青色、品红、黄色 184 7.6 基底转换：从红、绿、蓝，到青色、品红、黄色 187 第8章 几何变换 189 8.1 线性变换：线性空间到自身的线性映射 191 8.2 平移：仿射变换，原点变动 195 8.3 缩放：对角阵 196 8.4 旋转：行列式值为1 200 8.5 镜像：行列式值为负 205 8.6 投影：降维操作 207 8.7 再谈行列式值：几何视角 208 第9章 正交投影 215 9.1 标量投影：结果为标量 217 9.2 向量投影：结果为向量 218 9.3 正交矩阵：一个规范正交基 222 9.4 规范正交基性质 226 9.5 再谈镜像：从投影视角 229 9.6 格拉姆-施密特正交化 231 9.7 投影视角看回归 233 第10章 数据投影 241 10.1 从一个矩阵乘法运算说起 242 10.2 二次投影 + 层层叠加 245 10.3 二特征数据投影：标准正交基 249 10.4 二特征数据投影：规范正交基 254 10.5 四特征数据投影：标准正交基 259 10.6 四特征数据投影：规范正交基 263 10.7 数据正交化 269 第11章 矩阵分解 277 11.1 矩阵分解：类似因式分解 278 11.2 LU分解：上下三角 279 11.3 Cholesky分解：适用于正定矩阵 280 11.4 QR分解：正交化 282 11.5 特征值分解：刻画矩阵映射的特征 286 11.6 奇异值分解：适用于任何实数矩阵 290 第12章 Cholesky分解 295 12.1 Cholesky分解 296 12.2 正定矩阵才可以进行Cholesky分解 297 12.3 几何角度：开合 299 12.4 几何变换：缩放 → 开合 302 12.5 推广到三维空间 305 12.6 从格拉姆矩阵到相似度矩阵 309 第13章 特征值分解 313 13.1 几何角度看特征值分解 315 13.2 旋转 → 缩放 → 旋转 317 13.3 再谈行列式值和线性变换 320 13.4 对角化、谱分解 323 13.5 聊聊特征值 328 13.6 特征值分解中的复数现象 330 第14章 深入特征值分解 333 14.1 方阵开方 334 14.2 矩阵指数：幂级数的推广 335 14.3 斐波那契数列：求通项式 337 14.4 马尔科夫过程的平稳状态 339 14.5 瑞 利商 342 14.6 再谈椭圆：特征值分解 346 第15章 奇异值分解 353 15.1 几何视角：旋转 → 缩放 → 旋转 355 15.2 不同类型SVD分解 359 15.3 左奇异向量矩阵U 360 15.4 右奇异向量矩阵V 363 15.5 两个视角：投影和数据叠加 365 第16章 深入奇异值分解 369 16.1 完全型：U为方阵 371 16.2 经济型：S去掉零矩阵，变方阵 372 16.3 紧凑型：非满秩 373 16.4 截断型：近似 374 16.5 数据还原：层层叠加 375 16.6 估计与误差：截断型SVD 379 16.7 正交投影：数据正交化 382 第17章 多元函数微分 387 17.1 偏导：特定方向的变化率 388 17.2 梯度向量：上山方向 392 17.3 法向量：垂直于切平面 396 17.4 方向性微分：函数任意方向的变化率 398 17.5 泰勒展开：一元到多元 402 第18章 拉格朗日乘子法 407 18.1 回顾优化问题 408 18.2 等式约束条件 410 18.3 线性等式约束 414 18.4 非线性等式约束 415 18.5 不等式约束 417 18.6 再谈特征值分解：优化视角 420 18.7 再谈SVD：优化视角 423 18.8 矩阵范数：矩阵 → 标量，矩阵“大小” 426 18.9 再谈数据正交投影：优化视角 428 第19章 直线到超平面 437 19.1 切向量：可以用来定义直线 438 19.2 法向量：定义直线、平面、超平面 441 19.3 超平面：一维直线和二维平面的推广 443 19.4 平面与梯度向量 446 19.5 中垂线：用向量求解析式 451 19.6 用向量计算距离 453 第20章 再谈圆锥曲线 457 20.1 无处不在的圆锥曲线 459 20.2 正圆：从单位圆到任意正圆 460 20.3 单位圆到旋转椭圆：缩放 → 旋转 → 平移 463 20.4 多元高斯分布：矩阵分解、几何变换、距离 468 20.5 从单位双曲线到旋转双曲线 474 20.6 切线：构造函数，求梯度向量 476 20.7 法线：法向量垂直于切向量 479 第21章 曲面和正定性 481 21.1 正 定性 483 21.2 几何视角看正定性 485 21.3 开口朝上抛物面：正定 486 第22章 数据与统计 501 22.1 统计 + 线性代数：以鸢尾花数据为例 502 22.2 均值：线性代数视角 503 22.3 质心：均值排列成向量 505 22.4 中心化：平移 508 22.5 分类数据：加标签 510 22.6 方差：均值向量没有解释的部分 512 22.7 协方差和相关性系数 514 22.8 协方差矩阵和相关性系数矩阵 517 第23章 数据空间 523 23.1 从数据矩阵X说起 524 23.2 向量空间：从SVD分解角度理解 527 23.3 紧凑型SVD分解：剔除零空间 529 23.4 几何视角说空间 532 23.5 格拉姆矩阵：向量模、夹角余弦值的集合体 537 23.6 标准差向量：以数据质心为起点 540 23.7 白话说空间：以鸢尾花数据为例 543 第24章 数据分解 549 24.1 为什么要分解矩阵？ 550 24.2 QR分解：获得正交系 555 24.3 Cholesky分解：找到列向量的坐标 557 24.4 特征值分解：获得行空间和零空间 559 24.5 SVD分解：获得四个空间 562 第25章 数据应用 567 25.1 从线性代数到机器学习 568 25.2 从随机变量的线性变换说起 572 25.3 单方向映射 574 25.4 线性回归 578 25.5 多方向映射 582 25.6 主成分分析 584