分布式统计计算(应用统计硕士新编21世纪研究生系列教材)

本书着重介绍分布式计 算的思想及其在统计学以及 机器学习中的应用，将传统 统计学与机器学习中的经典 方法和现代分布式算法相结 合，强化学生的分布式统计 计算的编程能力和对相关方 法的理解，努力在统计计算 和分布式计算之间搭建起一 座桥梁。本书亦围绕统计学 中的不同问题提供了丰富的 实际案例以及详细的实现代 码，帮助使用者快速理解相 关分布式的核心思想，提升 编程能力，进而可以熟练地 进行大数据的统计分析和研 究。 本书可作为统计学与数 据科学相关专业高年级本科 生与研究生教材，也可供相 关大数据分析方向从业者与 研究者参考。

第1章 Apache Spark简介 1.1 Apache Spark的历史与现状 1.2 安装和运行Apache Spark 1.3 Apache Spark编程简介 1.4 Scala语言简介 1.4.1 Scala开发环境配置及IntelliJIDEA 1.4.2 Scala编程简介 1.4.3 PySpark编程简介 1.5 Spark编程 1.5.1 Spark系统简介 1.5.2 弹性分布式数据集 1.5.3 RDD文件上的操作 1.5.4 Spark中两个抽象概念 1.6 公共数据集 第2章 Breeze程序包 2.1 创建向量、矩阵及其简单计算 2.2 整行或整列的运算 2.3 常用数学计算 2.4 常用分布 2.5 基于Breeze包的分布式计算 第3章 随机模拟和统计推断 3.1 随机数的产生 3.1.1 逆累积分布函数法 3.1.2 拒绝法 3.1.3 示例：从回归模型中模拟数据 3.2 EM优化 3.2.1 EM算法 3.2.2 收敛性分析 3.2.3 分布式EM算法 3.2.4 示例：高斯混合模型 第4章 马尔科夫链蒙特卡洛方法 4.1 Metropolis-Hastings算法 4.2 Slice取样法 4.3 Gibbs取样法 第5章 优化算法 5.1 数值计算方法 5.1.1 （随机）梯度下降算法 5.1.2 示例：分布式的线性回归估计 5.2 近端梯度算法 5.2.1 算法介绍 5.2.2 示例：基于近端梯度算法的分布式Lasso回归参数估计 5.3 交替方向乘子法 5.3.1 算法介绍 5.3.2 示例：分位数回归分布式参数估计 5.4 有限内存BFGS算法 第6章 自举法 6.1 自由自举法 6.2 子集合自举法 第7章 常用统计机器学习方法 7.1 聚类分析