大数据挖掘与统计机器学习（第3版）（新编21世纪研究生系列教材·应用统计硕士（MAS））

本书介绍了大数据挖掘与统计机器学习领域最常用的模型和算法，包括最基础的线性回归和线性分类方法，以及模型选择和模型评价的概念和方法，进而介绍非线性的回归和分类方法（包括决策树与组合方法、支持向量机、神经网络以及在此基础上发展的深度学习方法）。最后介绍无监督的学习中的聚类方法和业界广泛使用的推荐系统方法。除了方法的理论讲解之外，我们还给出了每种方法的R语言代码实现以及Python语言代码实现的上机实践。

吕晓玲，中国人民大学统计学院教授，副院长。本科与硕士毕业于南开大学数学系概率统计专业，博士毕业于香港城市大学管理科学系。曾经是奥地利约翰开普勒大学应用统计系以及美国加州大学伯克利分校统计系访问学者。一直从事数据挖掘和统计机器学习领域的理论研究，及其在消费者行为方面的应用研究。宋捷，首都经济贸易大学统计学院副教授。

第1章 概述 1.1 名词演化 1.2 基本内容 1.3 数据智慧 第2章 线性回归与分类 2.1 Lasso回归 2.1.1 多元线性回归模型 2.1.2 岭回归 2.1.3 Lasso回归 2.1.4 一张图看懂岭回归和Lasso回归 2.1.5 从贝叶斯角度再看岭回归和Lasso回归 2.2 Lasso模型的求解 2.2.1 坐标下降法 2.2.2 最小角回归 2.2.3 ADMM算法 2.2.4 附录 2.3 损失函数加罚的建模框架 2.3.1 损失函数的概念 2.3.2 最小一乘回归与分位回归 2.3.3 其他罚函数 2.4 分类问题综述与评价准则 2.4.1 分类问题 2.4.2 分类问题评价准则 2.5 Logistic回归 2.5.1 基本模型 2.5.2 参数估计 2.5.3 正则化的Logistic回归 第3章 模型评价与选择 3.1 基本概念 3.1.1 各种误差的定义 3.1.2 偏差-方差分解 3.2 理论方法 3.2.1 Cp统计量 3.2.2 AIC准则 3.2.3 BIC准则 3.3 交叉验证法 第4章 决策树与组合方法 4.1 决策树 4.1.1 决策树的基本知识 4.1.2 决策树的建模过程 4.1.3 需要说明的一些问题 4.2 Bagging和随机森林 4.2.1 Bagging算法 4.2.2 随机森林 4.3 Boosting 4.3.1 AdaBoost算法 4.3.2 分类问题的不同损失函数 4.3.3 梯度下降Boosting算法 4.3.4 XGBoost 4.3.5 讨论