MM优化算法与R实现

本书基于 MM 算法原理和组装分解技术系统地介绍了统计优化问题中 MM 算法的构造方法及其性质特征。本书共分7章内容，具体包括绪论、凸性、MM 算法与组装分解技术、单 (多)元分布参数估计的 MM 算法、混合模型的 MM 算法、生存模型的半参数估计与 MM 算法、收敛性与加速算法。本书的目的在于为读者特别是统计工作者提供一套简单、有效、可靠的优化工具构造方法，强调广度而非深度，希望本书所介绍的算法开发方法能够为更多的实际问题而服务。 本书既适合高等院校数学、统计学、计算机科学、航空航天、电气工程、运筹学专业的本科生和研究生阅读，也适合作为相关技术人员的参考书。

黄希芬 ---------------------------- 黄希芬，女，博士，现任云南师范大学数学学院统计系副主任，硕士生导师。兼任中国现场统计研究会多元分析应用专业委员会理事、中国现场统计研究会统计交叉科学研究分会理事，云南省应用统计学会理事。主要从事大数据统计建模、高维统计推断、统计优化算法和生存分析等方面的研究。在国内外期刊发表学术论文20余篇。主持国家自然科学基金项目2项，省部级项目2项。曾获云南省社会科学奖三等奖，是全国科普教育基地、教育部首批“大思政课”实践教学基地（教育部、科技部科学精神专题实践教学基地）、中国数学会科普教育基地“西南联大数学文化馆”成员。

第1章 绪论………………………………………………………………………… 1 1.1 引言 ………………………………………………………………………… 1 1.2 极大似然估计 ……………………………………………………………… 2 1.3 牛顿法 ……………………………………………………………………… 4 1.3.1 牛顿法与方程求根 …………………………………………………… 5 1.3.2 牛顿法与最优化 ……………………………………………………… 6 1.4 牛顿-拉弗森算法 …………………………………………………………… 7 1.5 拟牛顿法 …………………………………………………………………… 8 1.6 费希尔得分算法…………………………………………………………… 10 1.7 EM 算法 …………………………………………………………………… 11 1.7.1 EM 算法的迭代公式 ………………………………………………… 12 1.7.2 EM 算法的上升性质 ………………………………………………… 14 1.7.3 信息缺失准则和标准误差…………………………………………… 15 1.8 蒙特卡罗EM 算法 ……………………………………………………… 16 1.9 ECM 算法 ………………………………………………………………… 18 1.10 EM 梯度算法 …………………………………………………………… 20 第2章 凸性 ……………………………………………………………………… 23 2.1 引言………………………………………………………………………… 23 2.2 凸集………………………………………………………………………… 23 2.3 凸函数……………………………………………………………………… 26 2.4 凸函数的性质………………………………………………………………32 2.5 闭合函数…………………………………………………………………… 34 2.6 强制函数…………………………………………………………………… 37 2.7 距离函数…………………………………………………………………… 38 第3章 MM 算法与组装分解技术 ……………………………………………… 41 3.1 引言………………………………………………………………………… 41 3.2 MM 算法原理 …………………………………………………………… 42 3.3 不等式……………………………………………………………………… 44 3.3.1 Jensen不等式及其应用 …………………………………………… 44 3.3.2 支撑超平面不等式及其应用………………………………………… 45 3.3.3 算术-几何均值不等式及其应用 …………………………………… 47 3.3.4 Cauchy-Schwarz不等式及其应用 ………………………………… 48 3.3.5 二次上界原理及其应用……………………………………………… 49 3.4 组装技术…………………………………………………………………… 52 3.5 分解技术…………………………………………………………………… 55 3.5.1 对数似然函数的分解………………………………………………… 55 3.5.2 双重极小化技术……………………………………………………… 57 第4章 单 (多)元分布参数估计的 MM 算法 ………………………………… 59 4.1 引言………………………………………………………………………… 59 4.2 零截断的二项分布………………………………………………………… 60 4.2.1 零截断的二项分布概述……………………………………………… 60 4.2.2 基于LB函数族的第一个 MM 算法 ……………………………… 60 4.2.3 基于LEB函数族的第二个 MM 算法 ……………………………… 61 4.3 广义泊松分布……………………………………………………………… 61 4.3.1 广义泊松分布概述…………………………………………………… 61 4.3.2 基于LG函数族的 MM 算法 ……………………………………… 62 4.4 左截断的正态分布………………………………………………………… 63 4.4.1 左截断的正态分布概述……………………………………………… 63 4.4.2 MM 算法的构造流程 ……………………………………………… 64 4.5 高维泊松回归模型与变量选择…………………………………………… 66 4.5.1 透射断层扫描的泊松回归模型……………………………………… 66 4.5.2 基于LGM 函数族的 MM 算法 …………………………………… 66 4.5.3 高维泊松回归模型的变量选择……………………………………… 67 4.5.4 高维泊松回归模型正则估计的 MM 算法 ………………………… 68 4.6 多元泊松分布……………………………………………………………… 69 4.6.1 多元泊松分布概述…………………………………………………… 69 4.6.2 基于LG函数族的 MM 算法 ……………………………………… 70 4.7 I型多元零膨胀广义泊松分布 …………………………………………… 71 4.7.1 I型多元零膨胀广义泊松分布概述 ………………………………… 71 4.7.2 基于LB和LG函数族的 MM 算法………………………………… 73 4.8 多元复合零膨胀广义泊松分布…………………………………………… 74 4.8.1 多元复合零膨胀广义泊松分布概述………………………………… 74 4.8.2 基于LB和LG函数族的 MM 算法………………………………… 76 附录 ……………………………………………………………………………… 78 第5章 混合模型的 MM 算法 ………………………………………………… 109 5.1 引言 ……………………………………………………………………… 109 5.2 混合分布的一般化 MM 算法 …………………………………………… 110 5.2.1 连续/离散混合分布模型的一般化 MM 算法 …………………… 110 5.2.2 连续-离散混合分布模型的一般化 MM 算法 …………………… 112 5.3 混合正态分布 …………………………………………………………… 114 5.4 混合T分布 ……………………………………………………………… 115 5.5 混合伽玛分布 …………………………………………………………… 117 5.6 混合威布尔分布 ………………………………………………………… 118 5.7 混合泊松分布 …………………………………………………………… 119 5.8 混合几何分布 …………………………………………………………… 121 5.9 正态-泊松混合分布 ……………………………………………………… 122 5.10 指数-泊松混合分布 …………………………………………………… 123 5.11 伽玛-几何混合分布 …………………………………………………… 125 5.12 伽玛-泊松混合分布 …………………………………………………… 127 附录……………………………………………………………………………… 128 第6章 生存模型的半参数估计与 MM 算法 ………………………………… 175 6.1 引言 ……………………………………………………………………… 175 6.2 Cox模型 ………………………………………………………………… 176 6.2.1 Cox模型与右删失数据 …………………………………………… 176 6.2.2 Cox模型的轮廓 MM 算法 ………………………………………… 176 6.2.3 Cox模型的非轮廓 MM 算法 ……………………………………… 178 6.3 伽玛脆弱模型 …………………………………………………………… 179 6.3.1 伽玛脆弱模型与右删失的集群失效时间数据 …………………… 179 6.3.2 伽玛脆弱模型的第一个轮廓 MM 算法 …………………………… 180 6.3.3 伽玛脆弱模型的第二个轮廓 MM 算法 ………………………… 182 6.3.4 伽玛脆弱模型的第三个轮廓 MM 算法 …………………………… 183 6.4 脆弱模型 ………………………………………………………………… 186 6.4.1 脆弱模型与右删失的多元失效时间数据 ………………………… 186 6.4.2 一般化脆弱模型的非轮廓 MM 算法 ……………………………… 187 6.4.3 脆弱模型高维回归向量的变量选择 ……………………………… 190 6.5 半竞争风险模型 ………………………………………………………… 191 6.5.1 半竞争风险模型概述 ……………………………………………… 191 6.5.2 半竞争风险模型的轮廓 MM 算法 ………………………………… 192 6.6 比例优势模型 …………………………………………………………… 195 6.6.1 比例优势模型概述 ………………………………………………… 195 6.6.2 比例优势模型的轮廓 MM 算法 …………………………………… 196 6.6.3 比例优势模型的非轮廓 MM 算法 ………………………………… 198 6.6.4 比例优势模型高维回归向量的变量选择 ………………………… 199 6.7 混合比例优势模型 ……………………………………………………… 201 6.7.1 混合比例优势模型概述 …………………………………………… 201 6.7.2 混合比例优势模型的轮廓 MM 算法 ……………………………… 202 6.7.3 混合比例优势模型的非轮廓 MM 算法 …………………………… 204 附录……………………………………………………………………………… 206 第7章 收敛性与加速算法……………………………………………………… 306 7.1 引言 ……………………………………………………………………… 306 7.2 局部收敛性 ……………………………………………………………… 307 7.3 全局收敛性 ……………………………………………………………… 310 7.4 SUMMA条件 …………………………………………………………… 313 7.5 平滑算法的加速 ………………………………………………………… 315 参考文献…………………………………………………………………………… 318