统计计算

本书主要内容: 统计包括统计计算和计算统计两个领域。传统的统计计算有优化算法、随机数生成算法、随机模拟、回归分析、分布函数和分位数函数计算等。计算统计包括马尔可夫链蒙特卡罗方法、EM算法和自助法等。本书理论部分囊括了这两部分内容; 实验部分是以Python作为编程语言实现的, 部分代码展示在书中, 部分代码以二维码形式放在每节后面; 课程思政部分以扩展阅读形式放在每章最后。

田霞，理学博士，副教授，毕业于南京航空航天大学，长期从事《概率论》《数理统计》等课程教学任务，参与国家自然科学基金项目1项，发表学术论文10余篇，多次指导学生获校级优秀论文奖，主要研究领域为矩阵特征值反问题。

目录 第1 章 优化算法 ......................................................................................................................... 1 1.1 误差 ........................................................................................................................ 1 1.1.1 误差的分类 ................................................................................................ 1 1.1.2 绝对误差和相对误差 ................................................................................ 2 1.1.3 算法的数值稳定性 .................................................................................... 4 1.2 方程求根和优化算法 ............................................................................................ 7 1.2.1 牛顿法求根 ................................................................................................ 7 1.2.2 爬山法求极值 .......................................................................................... 14 1.2.3 牛顿下山法求根 ...................................................................................... 15 1.2.4 牛顿法求一元函数的极值 ...................................................................... 17 1.2.5 梯度下降法 .............................................................................................. 18 第2 章 随机数的生成方法 ....................................................................................................... 26 2.1 服从均匀分布的随机数的生成方法 .................................................................. 26 2.1.1 平方取中法 .............................................................................................. 26 2.1.2 线性同余法 .............................................................................................. 27 2.1.3 混合同余法 .............................................................................................. 29 2.1.4 乘同余法 .................................................................................................. 31 2.1.5 素数模乘同余法 ...................................................................................... 33 2.2 服从其他分布的随机数的生成方法 .................................................................. 34 2.2.1 逆变换法 .................................................................................................. 34 2.2.2 舍选抽样法 .............................................................................................. 36 2.2.3 复合抽样法 .............................................................................................. 43 2.3 服从常见离散型分布的随机数的生成方法 ...................................................... 47 2.3.1 服从离散型均匀分布的随机数的生成方法 .......................................... 47 2.3.2 服从几何分布的随机数的生成方法 ...................................................... 49 2.3.3 服从二项分布的随机数的生成方法 ...................................................... 50 2.3.4 服从泊松分布的随机数的生成方法 ...................................................... 55 2.4 分布间的关系 ...................................................................................................... 58 2.4.1 与正态分布相关的分布 .......................................................................... 58 2.4.2 与贝塔分布相关的分布 .......................................................................... 59 2.4.3 其他分布 .................................................................................................. 62 2.5 服从常见连续型分布的随机数的生成方法 ...................................................... 62 2.5.1 服从均匀分布的随机数的生成方法 ...................................................... 62 2.5.2 服从指数分布的随机数的生成方法 ...................................................... 64 2.5.3 服从正态分布的随机数的生成方法 ...................................................... 66 2.5.4 服从卡方分布的随机数的生成方法 ...................................................... 68 第3 章 随机模拟 ....................................................................................................................... 73 3.1 使用随机模拟法求积分 ...................................................................................... 73 3.1.1 使用蒲丰投针方法计算圆周率 .............................................................. 73 3.1.2 随机投点法 .............................................................................................. 74 3.1.3 使用平均值法求积分 .............................................................................. 78 3.1.4 使用重要抽样法求积分 .......................................................................... 81 3.1.5 使用分层抽样法求积分 .......................................................................... 85 3.2 方差缩减 .............................................................................................................. 88 3.2.1 控制变量法 .............................................................................................. 88 3.2.2 对偶变量法 .............................................................................................. 89 3.3 随机模拟的应用 .................................................................................................. 91 3.3.1 停车的平均次数 ...................................................................................... 91 3.3.2 快递问题 .................................................................................................. 93 3.3.3 冰激凌销售问题 ...................................................................................... 96 3.3.4 旧笔新笔问题 .......................................................................................... 97 3.3.5 进货问题 .................................................................................................. 99 3.3.6 迷宫问题 ................................................................................................ 101 3.4 积分的计算 ........................................................................................................ 103 3.4.1 使用Python 计算积分 ........................................................................... 103 3.4.2 使用随机模拟法求积分 ........................................................................ 105 3.4.3 使用其他方法计算积分 ........................................................................ 108 第4 章 马尔可夫链蒙特卡罗方法 ......................................................................................... 114 4.1 马尔可夫链 ........................................................................................................ 114 4.1.1 马尔可夫链与一步状态转移概率矩阵 ................................................ 114 4.1.2 多步状态转移概率矩阵 ........................................................................ 116 4.1.3 不可约性和遍历性 ................................................................................ 117 4.1.4 非周期性 ................................................................................................ 120 4.2 Metropolis-Hasting 采样 .................................................................................... 123 4.2.1 Metropolis-Hasting 算法 ........................................................................ 123 4.2.2 模拟退火算法 ........................................................................................ 138 4.2.3 使用Python 中的包计算函数的最值 ................................................... 144 4.3 Gibbs 抽样.......................................................................................................... 146 4.4 马尔可夫链蒙特卡罗方法分析 ........................................................................ 150 4.4.1 马尔可夫链蒙特卡罗方法的收敛问题 ................................................ 150 4.4.2 Gelman-Rubin 检验 ............................................................................... 151 第5 章 EM 算法 ...................................................................................................................... 157 5.1 EM 算法概述 ..................................................................................................... 157 5.2 EM 算法应用 ..................................................................................................... 170 5.2.1 使用EM 算法估计混合正态分布的参数 ............................................ 170 5.2.2 使用EM 算法进行k-均值聚类 ............................................................ 173 5.3 EM 算法的收敛性 ............................................................................................. 182 第6 章 回归分析 ..................................................................................................................... 184 6.1 多元正态分布 .................................................................................................... 184 6.1.1 随机向量及数字特征 ............................................................................ 184 6.1.2 n 维正态分布 ......................................................................................... 187 6.1.3 距离 ........................................................................................................ 188 6.2 多元线性回归 .................................................................................................... 191 6.2.1 多元线性回归概述 ................................................................................ 191 6.2.2 建立模型 ................................................................................................ 192 6.2.3 回归模型的检验 .................................................................................... 194 6.2.4 用模型进行预测 .................................................................................... 198 6.2.5 使用Python 实现线性回归 ................................................................... 199 6.3 逻辑回归 ............................................................................................................ 203 第7 章 分布函数和分位数的计算 ......................................................................................... 216 7.1 连分式 ................................................................................................................ 216 7.1.1 连分式的起源 ........................................................................................ 216 7.1.2 连分式的定义和性质 ............................................................................ 217 7.1.3 计算连分式的方法 ................................................................................ 221 7.1.4 将函数展开成连分式 ............................................................................ 221 7.2 标准正态分布分布函数的计算 ........................................................................ 223 7.2.1 误差函数和分布函数 ............................................................................ 223 7.2.2 连分式展开 ............................................................................................ 225 7.2.3 使用连分式法计算标准正态分布分布函数的算法 ............................. 226 7.3 其他分布的分布函数的计算 ............................................................................ 227 7.3.1 贝塔分布的分布函数 ............................................................................ 227 7.3.2 卡方分布的分布函数 ............................................................................ 232 7.4 分位数的计算 .................................................................................................... 234 7.4.1 利用Toda 近似公式计算标准正态分布的分位数 ............................... 234 7.4.2 计算贝塔分布的分位数 ........................................................................ 234 7.4.3 计算t 分布的分位数 ............................................................................. 235 7.4.4 计算F 分布的分位数 ............................................................................ 235 7.4.5 计算卡方分布的分位数 ........................................................................ 236 附录A 统计图形 ...................................................................................................................... 238 参考文献 ..................................................................................................................................... 242