机器学习的算法分析和实践

本书是一本全面介绍机 器学习方法特别是算法的新 书，适合初学者和有一定基 础的读者阅读。 机器学习可以分成三大 类别：监督式学习、非监督 式学习和强化学习。三大类 别背后的算法也各有不同。 监督式学习使用了数学分析 中函数逼近的方法和概率统 计中的极大似然方法；非监 督式学习使用了聚类和贝叶 斯算法；强化学习使用了马 尔可夫决策过程算法。 机器学习背后的数学内 容来自概率、统计、数学分 析以及线性代数等领域。虽 然用到的数学知识较多，但 是最快捷的办法还是带着机 器学习的具体问题来掌握背 后的数学原理。因为线性代 数和概率理论使用较多，本 书在最后两章集中把重要的 一些概率论和线性代数的内 容加以介绍，如果有需要的 同学可以参考。另外，学习 任何知识，动手练习是加深 理解的最好方法，所以本书 的每一章都配备了习题供大 家实践和练习。

复旦大学数学学院教授、 金融研究院量化中心主任。北京大学数学系毕业， 2000年美国芝加哥大学博士毕业。曾担任摩根士丹利固定收益部执行总经理，从事股票类、固定收益类、大宗商品类等衍生品的定价、交易和风险对冲工作。某量化私募基金管理公司创始人和投委会主席。

第1章 引论 1.1 什么是机器学习 1.2 多项式逼近函数 1.3 多项式Remez算法 习题 第2章 感知机模型 2.1 分类问题的刻画 2.2 线性规划 习题 第3章 线性回归 3.1 最小二乘法原理 3.2 多元高斯分布模型 3.3 误差和方差 3.4 岭回归和Lasso回归 习题 第4章 逻辑回归 4.1 逻辑回归概述 4.2 多重分类线性模型和非线性模型 习题 第5章 决策树模型 5.1 离散型数据 5.2 熵和决策树的建立 5.3 剪枝 5.4 连续型数据 5.5 CART树 习题 第6章 生成模型和判别模型 6.1 极大似然估计 6.2 贝叶斯估计 6.3 线性判别模型 6.4 多元正态分布 6.5 LDA和LQA 第7章 优化方法 7.1 数值解方程 7.2 光滑函数的极值点 7.3 带约束条件的极值问题 7.4 梯度下降法 7.5 凸函数 7.6 对偶问题 7.7 Minimax问题 7.8 L1过滤 第8章 支持向量机 8.1 点到平面的距离 8.2 支持向量机的原理 8.3 对偶问题 8.4 核函数的方法 8.5 软性支持向量机 8.6 支持向量机回归 习题 第9章 神经网络 9.1 简单函数逼近复杂函数 9.2 神经网络结构 习题 第10章 机器学习理论问题 10.1 问题的提出 10.2 概率不等式 10.3 有限假设空间 10.4 No Free Lunch定理 10.5 VC维度 习题 第11章 集成和提升 11.1 方差偏度分解 11.2 随机森林 11.3 梯度提升决策树模型 11.4 AdaBoost方法 习题 第12章 主成分分析 12.1 对称矩阵特征值和特征向量 12.2 矩阵的奇异值分解 12.3 主成分分析 第13章 EM算法 13.1 一个概率问题 13.2 混合高斯分布的EM算法 13.3 一般形式推导 习题 第14章 隐马尔可夫模型 14.1 第一个问题 14.2 第二个问题 14.3 第三个问题 14.4 连续型隐马尔可夫模型 习题 第15章 强化学习 15.1 马尔可夫价值系统 15.2 马尔可夫价值蒙特卡罗数值解 15.3 马尔可夫决策系统 15.4 马尔可夫决策系统最优策略 15.5 时序差分方法 15.6 资格迹 15.7 值函数逼近方法 习题 第16章 概率论基础 16.1 古典概率论内容 16.2 连续分布 16.3 期望 16.4 信息和熵 16.5 大数定律证明 16.6 中心极限定理证明 第17章 线性代数基础 17.1 行列式 17.2 Cramer法则 17.3 矩阵初等性质 17.4 矩阵的逆 17.5 矩阵的初等变换 17.6 伴随矩阵 17.7 对于矩阵运算求导数