数据科学与机器学习 数学与统计方法

本书内容全面、严谨、翔实，展示了现代机器学习技术背后的数学思想，主要面向学习数据科学和机器学习课程的本科生和研究生。它首先介绍了数据的相关概念，其次阐述了统计学习、蒙特卡罗方法、无监督学习的相关内容，接者探讨了回归方法、正则化方法和核方法，然后论述了分类问题与决策树和集成方法，最后介绍了深度学习的相关内容。此外，本书在附录中给出了相关内容的背景知识，包含线性代数与泛函分析、多元微分与优化问题、概率与统计，以及Python入门内容。

译者序
前言
数学符号
第1章导入、汇总和可视化数据
1.1简介
1.2类型结构特征
1.3汇总表
1.4汇总统计量
1.5数据可视化
1.5.1定性变量绘图
1.5.2定量变量绘图
1.5.3双变量的数据可视化
1.6扩展阅读
1.7习题
第2章统计学习
2.1简介
2.2监督学习和无监督学习
2.3训练损失和测试损失
2.4统计学习中的权衡处理
2.5估计风险
2.5.1样本内风险
2.5.2交叉验证
2.6数据建模
2.7多元正态模型
2.8正态线性模型
2.9贝叶斯学习
2.10扩展阅读
2.11习题
第3章蒙特卡罗方法
3.1简介
3.2蒙特卡罗抽样
3.2.1生成随机数
3.2.2模拟随机变量
3.2.3模拟随机向量和随机过程
3.2.4重采样
3.2.5马尔可夫链蒙特卡罗
3.3蒙特卡罗估计
3.3.1朴素蒙特卡罗
3.3.2自举法
3.3.3方差缩减
3.4蒙特卡罗优化
3.4.1模拟退火
3.4.2交叉熵方法
3.4.3分裂优化
3.4.4噪声优化
3.5扩展阅读
3.6习题
第4章无监督学习
4.1简介
4.2无监督学习的风险和损失
4.3期望大化算法
4.4经验分布和密度估计
4.5通过混合模型聚类
4.5.1混合模型
4.5.2混合模型的EM算法
4.6向量量化聚类
4.6.1K均值
4.6.2通过连续多极值优化进行聚类
4.7层次聚类
4.8主成分分析
4.8.1动机：椭球体的主轴
4.8.2PCA和奇异值分解
4.9扩展阅读
4.10习题
第5章回归
5.1简介
5.2线性回归
5.3线性模型分析
5.3.1参数估计
5.3.2模型选择和预测
5.3.3交叉验证与预测残差平方和
5.3.4样本内风险和赤池信息准则
5.3.5分类特征
5.3.6嵌套模型
5.3.7决定系数
5.4正态线性模型的推理
5.4.1比较两个正态线性模型
5.4.2置信区间和预测区间
5.5非线性回归模型
5.6用Python实现线性模型
5.6.1建模
5.6.2分析
5.6.3方差分析
5.6.4置信区间和预测区间
5.6.5模型验证
5.6.6变量选择
5.7广义线性模型
5.8扩展阅读
5.9习题
第6章正则化和核方法
6.1简介
6.2正则化
6.3再生核希尔伯特空间
6.4再生核的构造
6.4.1通过特征映射构造再生核
6.4.2根据特征函数构造再生核
6.4.3利用正交特征构造再生核
6.4.4通过核构造再生核
6.5表示定理
6.6平滑三次样条
6.7高斯过程回归
6.8核PCA
6.9扩展阅读
6.10习题
第7章分类
7.1简介
7.2分类评价指标
7.3基于贝叶斯规则的分类
7.4线性判别分析和二次判别分析
7.5逻辑回归和softmax分类
7.6K近邻分类
7.7支持向量机
7.8使用ScikitLearn进行分类
7.9扩展阅读
7.10习题
第8章决策树和集成方法
8.1简介
8.2自顶向下的决策树构建方法
8.2.1区域预测函数
8.2.2分裂规则
8.2.3终止条件
8.2.4基本实现
8.3其他考虑因素
8.3.1二叉树与非二叉树
8.3.2数据预处理
8.3.3替代分裂规则
8.3.4类别变量
8.3.5缺失值
8.4控制树形
8.4.1代价复杂度剪枝
8.4.2决策树的优点和局限性
8.5自举聚合
8.6随机森林
8.7提升法
8.8扩展阅读
8.9习题
第9章深度学习
9.1简介
9.2前馈神经网络
9.3反向传播
9.4训练方法
9.4.1速下降法
9.4.2LevenbergMarquardt方法
9.4.3受限内存BFGS方法
9.4.4自适应梯度法
9.5Python示例
9.5.1简单多项式回归
9.5.2图像分类
9.6扩展阅读
9.7习题
附录A线性代数与泛函分析
附录B多元微分与优化问题
附录C概率与统计
附录DPython入门
参考文献