Apache Spark机器学习

本书包装了一系列项目“蓝图”，展示了Spark可以帮你解决的一些有趣挑战，读者在将理论知识实践于一些实际项目之前，会了解到如何使用Sparknotebook，以及如何访问、清洗和连接不同的数据集，你将在其中了解Spark机器学习如何帮助你完成从欺诈检测到分析客户流失等各种工作。你还将了解如何使用Spark的并行计算能力构建推荐引擎。

译者序
前言
第1章Spark机器学习简介
1.1Spark概述和技术优势
1.1.1Spark概述
1.1.2Spark优势
1.2在机器学习中应用Spark计算
1.3机器学习算法
1.4MLlib
1.5SparkRDD和DataFrame
1.5.1SparkRDD
1.5.2SparkDataFrame
1.5.3R语言DataFrameAPI
1.5.4机器学习框架、RM4E和Spark计算
1.5.5机器学习框架
1.5.6RM4E
1.5.7Spark计算框架
1.6机器学习工作流和Sparkpipeline
1.7机器学习工作流示例
1.8Sparknotebook简介
1.8.1面向机器学习的notebook方法
1.8.2Sparknotebook
1.9小结
第2章Spark机器学习的数据准备
2.1访问和加载数据集
2.1.1访问公开可用的数据集
2.1.2加载数据集到Spark
2.1.3数据集探索和可视化
2.2数据清洗
2.2.1处理数据不完备性
2.2.2在Spark中进行数据清洗
2.2.3更简便的数据清洗
2.3一致性匹配
2.3.1一致性问题
2.3.2基于Spark的一致性匹配
2.3.3实体解析
2.3.4更好的一致性匹配
2.4数据集重组
2.4.1数据集重组任务
2.4.2使用SparkSQL进行数据集重组
2.4.3在Spark上使用R语言进行数据集重组
2.5数据集连接
2.5.1数据连接及其工具——SparkSQL
2.5.2Spark中的数据集连接
2.5.3使用R语言数据表程序包进行数据连接
2.6特征提取
2.6.1特征开发的挑战
2.6.2基于SparkMLlib的特征开发
2.6.3基于R语言的特征开发
2.7复用性和自动化
2.7.1数据集预处理工作流
2.7.2基于Sparkpipeline的数据集预处理
2.7.3数据集预处理自动化
2.8小结
第3章基于Spark的整体视图
3.1Spark整体视图
3.1.1例子
3.1.2简洁快速的计算
3.2整体视图的方法
3.2.1回归模型
3.2.2SEM方法
3.2.3决策树
3.3特征准备
3.3.1PCA
3.3.2使用专业知识进行分类分组
3.3.3特征选择
3.4模型估计
3.4.1MLlib实现
3.4.2Rnotebook实现
3.5模型评估
3.5.1快速评价
3.5.2RMSE
3.5.3ROC曲线
3.6结果解释
3.7部署
3.7.1仪表盘
3.7.2规则
3.8小结
第4章基于Spark的欺诈检测
4.1Spark欺诈检测
4.1.1例子
4.1.2分布式计算
4.2欺诈检测方法
4.2.1随机森林
4.2.2决策树
4.3特征提取
4.3.1从日志文件提取特征
4.3.2数据合并
4.4模型估计
4.4.1MLlib实现
4.4.2Rnotebook实现
4.5模型评价
4.5.1快速评价
4.5.2混淆矩阵和误报率
4.6结果解释
4.7部署欺诈检测
4.7.1规则
4.7.2评分
4.8小结
第5章基于Spark的风险评分
5.1Spark用于风险评分
5.1.1例子
5.1.2ApacheSparknotebook
5.2风险评分方法
5.2.1逻辑回归
5.2.2随机森林和决策树
5.3数据和特征准备
5.4模型估计
5.4.1在DataScientistWorkbench上应用Rnotebook
5.4.2实现Rnotebook
5.5模型评价
5.5.1混淆矩阵
5.5.2ROC分析
5.5.3Kolmogorov-Smirnov检验
5.6结果解释
5.7部署
5.8小结
第6章基于Spark的流失预测
6.1Spark流失预测
6.1.1例子
6.1.2Spark计算
6.2流失预测的方法
6.2.1回归模型
6.2.2决策树和随机森林
6.3特征准备
6.3.1特征提取
6.3.2特征选择
6.4模型估计
6.5模型评估
6.6结果解释
6.7部署
6.7.1评分
6.7.2干预措施推荐
6.8小结
第7章基于Spark的产品推荐
7.1基于ApacheSpark的产品推荐引擎
7.1.1例子
7.1.2基于Spark平台的SPSS
7.2产品推荐方法
7.2.1协同过滤
7.2.2编程准备
7.3基于SPSS的数据治理
7.4模型估计
7.5模型评价
7.6产品推荐部署
7.7小结
第8章基于Spark的学习分析
8.1Spark流失预测
8.1.1例子
8.1.2Spark计算
8.2流失预测方法
8.2.1回归模型
8.2.2决策树
8.3特征准备
8.3.1特征开发
8.3.2特征选择
8.4模型估计
8.5模型评价
8.5.1快速评价
8.5.2混淆矩阵和错误率
8.6结果解释
8.6.1计算干预影响
8.6.2计算主因子影响
8.7部署
8.7.1规则
8.7.2评分
8.8小结
第9章基于Spark的城市分析
9.1Spark服务预测
9.1.1例子
9.1.2Spark计算
9.1.3服务预测方法
9.1.4回归模型
9.1.5时间序列建模
9.2数据和特征准备
9.2.1数据合并
9.2.2特征选择
9.3模型估计
9.3.1用Zeppelinnotebook实现Spark
9.3.2用Rnotebook实现Spark
9.4模型评估
9.4.1使用MLlib计算RMSE
9.4.2使用R语言计算RMSE
9.5结果解释
9.5.1优选影响因素
9.5.2趋势可视化
9.6小结
第10章基于Spark的电信数据学习
10.1在Spark平台上使用电信数据
10.1.1例子
10.1.2Spark计算
10.2电信数据机器学习方法
10.2.1描述性统计和可视化
10.2.2线性和逻辑回归模型
10.2.3决策树和随机森林
10.3数据和特征开发
10.3.1数据重组
10.3.2特征开发和选择
10.4模型估计
10.5模型评估
10.5.1使用MLlib计算RMSE
10.5.2使用R语言计算RMSE
10.5.3使用MLlib和R语言计算混淆矩阵与错误率
10.6结果解释
10.6.1描述性统计和可视化
10.6.2优选影响因素
10.6.3特别的洞见
10.6.4趋势可视化
10.7模型部署
10.7.1告警发送规则
10.7.2为流失和呼叫中心呼叫情况进行用户评分
10.7.3为购买倾向分析进行用户评分
10.8小结
第11章基于Spark的开放数据建模
11.1Spark用于开放数据学习
11.1.1例子
11.1.2Spark计算
11.1.3评分和排名方法
11.1.4聚类分析
11.1.5主成分分析
11.1.6回归模型
11.1.7分数合成
11.2数据和特征准备
11.2.1数据清洗
11.2.2数据合并
11.2.3特征开发
11.2.4特征选择
11.3模型估计
11.3.1基于Spark的SPSS分析：SPSSAnalyticsServer
11.3.2模型评价
11.3.3用MLlib计算RMSE
11.3.4用R语言计算RMSE
11.4结果解释
11.4.1排名比较
11.4.2优选影响因素
11.5部署
11.5.1发送告警规则
11.5.2学区排名评分
11.6小结