Spark MLlib机器学习实践

Spark作为新兴的、应用范围最为广泛的大数据处理开源框架引起了广泛的关注，它吸引了大量程序设计和开发人员进行相关内容的学习与开发，其中 MLlib是 Spark框架使用的核心。本书是一本细致介绍 Spark MLlib程序设计的图书，入门简单，示例丰富。
本书分为 12章，从 Spark基础安装和配置开始，依次介绍 MLlib程序设计基础、MLlib的数据对象构建、MLlib中 RDD使用介绍，各种分类、聚类、回归等数据处理方法，最后还通过一个完整的实例，回顾了前面的学习内容，并通过代码实现了一个完整的分析过程。
本书理论内容由浅而深，采取实例和理论相结合的方式，内容全面而详尽，讲解细致直观，适合 Spark MLlib初学者、大数据分析和挖掘人员，也适合高校和培训学习相关专业的师生教学参考。

王晓华，高校资深计算机专业讲师，给研究生和本科生讲授面向对象程序设计、数据结构、Hadoop程序设计等相关课程。主要研究方向为云计算、数据挖掘。曾主持和参与多项国家和省级科研课题，独立完成一项科研成果获省级成果认定，发表过多篇论文，申请有一项专利。

第1章星星之火
1.1大数据时代
1.2大数据分析时代
1.3简单、优雅、有效——这就是Spark
1.4核心——MLlib
1.5星星之火，可以燎原
1.6小结
第2章Spark安装和开发环境配置
2.1Windows单机模式Spark安装和配置
2.1.1Windows7安装Java
2.1.2Windows7安装Scala
2.1.3IntellijIDE下载和安装
2.1.4IntellijIDE中Scala插件的安装
2.1.5Spark单机版安装
2.2经典的WordCount
2.2.1Spark实现WordCount
2.2.2MapReduce实现WordCount
2.3小结
第3章RDD详解
3.1RDD是什么
3.1.1RDD名称的秘密
3.1.2RDD特性
3.1.3与其他分布式共享内存的区别
3.1.4RDD缺陷
3.2RDD工作原理
3.2.1RDD工作原理
3.2.2RDD的相互依赖
3.3RDD应用API详解
3.3.1使用aggregate方法对给定的数据集进行方法设定
3.3.2提前计算的cache方法
3.3.3笛卡尔操作的cartesian方法
3.3.4分片存储的coalesce方法
3.3.5以value计算的countByValue方法
3.3.6以key计算的countByKey方法
3.3.7除去数据集中重复项的distinct方法
3.3.8过滤数据的filter方法
3.3.9以行为单位操作数据的flatMap方法
3.3.10以单个数据为目标进行操作的map方法
3.3.11分组数据的groupBy方法
3.3.12生成键值对的keyBy方法
3.3.13同时对两个数据进行处理的reduce方法
3.3.14对数据进行重新排序的sortBy方法
3.3.15合并压缩的zip方法
3.4小结
第4章MLlib基本概念
4.1MLlib基本数据类型
4.1.1多种数据类型
4.1.2从本地向量集起步
4.1.3向量标签的使用
4.1.4本地矩阵的使用
4.1.5分布式矩阵的使用
4.2MLlib数理统计基本概念
4.2.1基本统计量
4.2.2统计量基本数据
4.2.3距离计算
4.2.4两组数据相关系数计算
4.2.5分层抽样
4.2.6假设检验
4.2.7随机数
4.3小结
第5章协同过滤算法
5.1协同过滤
5.1.1协同过滤概述
5.1.2基于用户的推荐
5.1.3基于物品的推荐
5.1.4协同过滤算法的不足
5.2相似度度量
5.2.1基于欧几里得距离的相似度计算
5.2.2基于余弦角度的相似度计算
5.2.3欧几里得相似度与余弦相似度的比较
5.2.4第一个例子——余弦相似度实战
5.3MLlib中的交替最小二乘法（ALS算法）
5.3.1最小二乘法（LS算法）详解
5.3.2MLlib中交替最小二乘法（ALS算法）详解
5.3.3ALS算法实战
5.4小结
第6章MLlib线性回归理论与实战
6.1随机梯度下降算法详解
6.1.1道士下山的故事
6.1.2随机梯度下降算法的理论基础
6.1.3随机梯度下降算法实战
6.2MLlib回归的过拟合
6.2.1过拟合产生的原因
6.2.2lasso回归与岭回归
6.3MLlib线性回归实战
6.3.1MLlib线性回归基本准备
6.3.2MLlib线性回归实战：商品价格与消费者收入之间的关系
6.3.3对拟合曲线的验证
6.4小结
第7章MLlib分类实战
7.1逻辑回归详解
7.1.1逻辑回归不是回归算法
7.1.2逻辑回归的数学基础
7.1.3一元逻辑回归示例
7.1.4多元逻辑回归示例
7.1.5MLlib逻辑回归验证
7.1.6MLlib逻辑回归实例：胃癌的转移判断
7.2支持向量机详解
7.2.1三角还是圆
7.2.2支持向量机的数学基础
7.2.3支持向量机使用示例
7.2.4使用支持向量机分析胃癌转移
7.3朴素贝叶斯详解
7.3.1穿裤子的男生or女生
7.3.2贝叶斯定理的数学基础和意义
7.3.3朴素贝叶斯定理
7.3.4MLlib朴素贝叶斯使用示例
7.3.5MLlib朴素贝叶斯实战：“僵尸粉”的鉴定
7.4小结
第8章决策树与保序回归
8.1决策树详解
8.1.1水晶球的秘密
8.1.2决策树的算法基础：信息熵
8.1.3决策树的算法基础—ID3算法
8.1.4MLlib中决策树的构建
8.1.5MLlib中决策树示例
8.1.6随机雨林与梯度提升算法（GBT）
8.2保序回归详解
8.2.1何为保序回归
8.2.2保序回归示例
8.3小结
……
第9章MLlib中聚类详解
第10章MLlib中关联规则
第11章数据降维
第12章特征提取和转换
第13章MLlib实战演练——鸢尾花分析