应用回归及分类

本书包括的内容有：经典线性回归、广义线性模型、纵向数据(分层模型)，机器学习回归方法(决策树、bagging、随机森林、mboost、人工神经网络、支持向量机、k最近邻方法)、生存分析及Cox模型、经典判别分析与logistic回归分类、机器学习分类方法(决策树、bagging、随机森林、adaboost、人工神经网络、支持向量机、k最近邻方法)。其中，纵向数据(分层模型)及生存分析及Cox模型的内容可根据需要选用，所有其他的内容都应该在教学中涉及，可以简化甚至忽略的内容为一些数学推导和某些不那么优秀的模型，不可以忽略的是各种方法的直观意义及理念

吴喜之，北京大学数学力学系本科，美国北卡罗来纳大学统计博士。中国人民大学统计学院教授，博士生导师。曾在美国加利福尼亚大学、北卡罗来纳大学以及南开大学、北京大学等多所有名学府执教。

前言
第一章引言
1.1作为科学的统计
1.1.1统计是科学
1.1.2模型驱动的历史及数据驱动的未来
1.1.3数据中的信息是由观测值数目及相关变量的数目决定的
1.2传统参数模型和机器学习算法模型
1.2.1参数模型比算法模型容易解释是伪命题
1.2.2参数模型的竞争模型的对立性和机器学习不同模型的协和性
1.2.3评价和对比模型
1.3国内统计教学及课本的若干误区
1.3.1假设检验的误区：不能拒绝就接受？
1.3.2p值的误区
1.3.3置信区间的误区
1.3.4样本量是多少才算大样本？
1.3.5用31个省市自治区数据能做什么？
1.3.6汇总数据（比如部分均值）和原始观测值的区别
1.4R软件入门
1.4.1简介
1.4.2安装和运行小贴士
1.4.3动手
1.5习题
第二章经典线性回归
2.1模型形式
2.1.1自变量为一个数量变量的情况
2.1.2自变量为多个数量变量的情况
2.1.3“线性”是对系数而言的
2.2用最小二乘法估计线性模型
2.2.1一个数量自变量的情况
2.2.2指数变换
2.2.3多个数量自变量的情况
2.2.4自变量为定性变量的情况
2.3关于系数的性质和推断
2.3.1基本假定
2.3.2关于H0：βi=0=H1：βi≠0的t检验
2.3.3关于多自变量系数复合假设F检验及方差分析表
2.3.4定性变量的显著性必须从方差分析表看出
2.3.5关于残差的检验及点图
2.4通过一个“教科书数据”来理解简单最小二乘回归
2.4.1几种竞争的线性模型
2.4.2孤立地看模型可能会产生多个模型都“正确”的结论
2.4.3比较多个模型试图得到相对较好的模型
2.4.4对例2.4的6个模型做预测精度的交叉验证
2.5一个“非教科书数据”例子
2.5.1线性回归的尝试
2.5.2和其他方法的交叉验证比较
2.6经典最小二乘回归误导汇总
2.6.1大量主观的假定
2.6.2对回归结果的缺乏根据的“解释”
2.6.3增加无关的（“错误的”）自变量对预测会不会有影响？
2.7处理线性回归多重共线性的经典方法
2.7.1多重共线性
2.7.2逐步回归
2.7.3岭回归
2.7.4lasso回归
2.7.5适应性lasso回归
2.7.6偏最小二乘回归
2.7.7对例2.7，偏最小二乘回归优于所有常用经典方法
2.8损失函数及分位数回归简介
2.8.1损失函数
2.8.2恩格尔数据例子的分位数回归
2.9习题
第三章广义线性模型
3.1模型
3.2指数分布族及典则连接函数
3.3似然函数和准似然函数
3.3.1似然函数和记分函数
3.3.2广义线性模型的记分函数
3.3.3准记分函数、准对数似然函数及准似然估计
3.4广义线性模型的一些推断问题
3.4.1优选似然估计和Wald检验
3.4.2偏差和基于偏差的似然比检验
3.4.3散布参数的估计
3.5logistic回归和二元分类问题
3.5.1logistic回归（probit回归）
3.5.2用logistic回归做分类
3.6Poisson对数线性模型及频数数据的预测
3.6.1Poisson对数线性模型
3.6.2使用Poisson对数线性模型的一些问题
3.6.3Poisson对数线性模型的预测及交叉验证
3.7习题
第四章纵向数据及分层模型*
4.1通过一个数值例子解释模型
4.1.1牛奶蛋白质含量例子及两层模型
4.1.2模型的拟合及输出
4.2线性随机效应混合模型的一般形式
4.3远程监控帕金森病例子
4.4不同模型对纵向数据做预测的交叉验证对比
4.5广义线性随机效应混合模型
4.5.1对例4.3的分析
4.5.2对例4.4的分析
4.6决策树和随机效应混合模型
4.7习题
第五章机器学习回归方法
5.1引言
5.2作为基本模型的决策树（回归树）
5.2.1回归树的描述
5.2.2使用回归树来预测
5.2.3决策树回归和线性模型回归的比较和交叉验证
5.2.4回归树的生长：如何选择拆分变量及如何结束生长
5.3组合方法的思想
5.3.1直观说明
5.3.2组合方法及自助法抽样
5.4bagging回归
5.4.1概述
5.4.2全部数据的拟合
5.4.3交叉验证和模型比较
5.5随机森林回归
5.5.1概述
5.5.2例子及拟合全部数据
5.5.3随机森林回归中的变量重要性
5.5.4部分依赖图
5.5.5利用随机森林做变量选择
5.5.6接近度和离群点图
5.5.7关于误差的两个点图
5.5.8寻求节点很优竞争变量个数
5.5.9对例5.3数据做三种方法的交叉验证
5.6mboost回归
5.6.1概述
5.6.2例子及拟合全部数据
5.6.3对例5.4做几种方法的交叉验证
5.7人工神经网络回归
5.7.1概述
5.7.2用神经网络拟合例5.4全部数据
5.7.3选择神经网络的参数
5.7.4对例5.4做神经网络的10折交叉验证
5.8支持向量机回归
5.8.1概述
5.8.2用支持向量机拟合例5.2全部数据
5.8.3对例5.2数据做五种方法的交叉验证
5.9k最近邻回归
5.9.1概述
5.9.2对例5.2数据做k最近邻方法的交叉验证
5.10习题
……
第六章生存分析及Cox模型
第七章经典分类：判别分析
第八章机器学习分类方法
附录练习：熟练使用R软件
参考文献