现代回归分析方法引论

本书主要介绍统计学中的回归分析方法基础以及在机器学习方向上的应用,介绍回归分析的数学基础的同时,以统计学和机器学习相结合的手段介绍回归分析领域在近年来取得的各种重要结果和突破特别是在大数据背景下,回归分析的正则化问题的快速求解算法.本书在介绍基础知识的同时,也强调回归分析在实际中的应用,书中配有大量的案例及其R语言的实现本书可作为数学、统计学及相关专业高年级本科生或研究生的教材使用,也可作为相关专业科研工作者的参考资料。

前言
第1章引言
1.1相关关系
1.2回归模型的一般形式
1.3回归模型的建模过程
第2章预备知识
2.1一元线性回归
2.1.1散点图，回归模型，矩阵表达
2.1.2模型的建立——参数估计
2.1.3最小二乘估计的性质
2.1.4一元线性回归模型的显著性检验
2.2线性模型的最小二乘估计
2.2.1最小二乘估计
2.2.2最小二乘估计的统计性质
2.2.3最小二乘估计的很优性
2.2.4带约束的最小二乘估计
2.3假设检验
2.3.1一般线性检验
2.3.2回归方程的显著性检验
2.3.3回归系数的显著性检验
2.4有偏估计||岭回归和主成分回归
2.4.1复共线性
2.4.2岭回归
2.4.3主成分回归
第3章变量选择和贝叶斯线性模型
3.1全模型和选模型
3.1.1减少自变量对模型参数估计的影响
3.1.2减少自变量对预测的影响
3.2变量选择
3.2.1很优子集回归
3.2.2逐步回归
3.2.3前向分段回归
3.3压缩方法
3.3.1岭回归
3.3.2lasso
3.3.3正交设计下lasso的解
3.3.4岭回归、lasso和很优子集
3.4贝叶斯线性模型
3.4.1最小二乘估计与极大似然估计
3.4.2贝叶斯线性模型与岭回归
3.4.3贝叶斯线性模型学习过程
3.4.4预测分布
第4章e1正则化逻辑回归的随机坐标下降算法
4.1引言
4.2RCSUM算法及其在e1正则化逻辑回归上的应用
4.2.1问题描述及假设
4.2.2RCSUM算法
4.2.3收敛性分析
4.2.4RCSUM求解e1范数正则化逻辑回归
4.3加速随机算法APCG求解e1范数逻辑回归
4.4数值实验
4.4.1模拟数据
4.4.2实验结果及分析
4.4.3乳腺癌数据
4.5总结
第5章并行坐标下降
5.1引言
5.1.1相关工作
5.1.2动机
5.1.3贡献
5.2PSUM以及RPSUM算法
5.2.1预备知识
5.2.2主要假设
5.2.3PSUM算法
5.2.4RPSUM算法
5.3PSUM以及RPSUM的收敛性分析
5.3.1PSUM的收敛性分析
5.3.2RPSUM的收敛性分析
5.4应用
5.4.1RPSUM解e1范数正则化逻辑回归
5.4.2实验
5.4.3讨论
5.4.4结论
第6章随机优化
6.1随机优化问题
6.2在线算法
6.2.1随机梯度法
6.2.2对偶平均方法
6.3带正则化项的随机优化问题
6.3.1向前向后分裂算法简介
6.3.2向前向后分裂算法的收敛性
6.4向前向后分裂算法求解e1正则化逻辑回归
6.5实验
6.6结论
参考文献
附录A凸优化
附录B常用分布表