Spark机器学习进阶实战

全书一共分三大部分：基础篇（1-2章）对Spark机器学习进行概述、并通过Spark机器学习开始进行数据分析；算法篇（3-8章）针对分类、聚类、回归、协同过滤、关联规则、降维等算法进行详细讲解，并进行案例支持；综合案例篇（9-12章）重点通过异常检测、用户画像、广告点击率预估、智慧交通大数据4个综合场景，详细讲解基于Spark机器学习的综合应用。

马海平，科大讯飞大数据研究院研究主管，中国科学与技术大学计算机技术博士，专注数据挖掘和人工智能算法的研究，及其在计算广告和个性化教育等方向的落地应用。
于俊，科大讯飞大数据专家，专注大数据和人工智能应用方案设计、基于spark的大数据分析和价值挖掘，在大数据算法工程化实现方面具有丰富经验。
吕昕，科大讯飞大数据专家。
向海，邂智科技算法负责人，前科大讯飞大数据专家。

   前言

第一篇基础篇

第1章机器学习概述2

1.1机器学习概述2

1.1.1理解大数据2

1.1.2机器学习发展过程4

1.1.3大数据生态环境5

1.2机器学习算法6

1.2.1传统机器学习6

1.2.2深度学习8

1.2.3其他机器学习8

1.3机器学习分类9

1.3.1监督学习9

1.3.2无监督学习10

1.3.3半监督学习10

1.3.4强化学习10

1.4机器学习综合应用11

1.4.1异常检测12

1.4.2用户画像12

1.4.3广告点击率预估12

1.4.4企业征信大数据应用12

1.4.5智慧交通大数据应用13

1.5本章小结13

第2章数据分析流程和方法14

2.1数据分析概述14

2.2数据分析流程15

2.2.1业务调研16

2.2.2明确目标16

2.2.3数据准备16

2.2.4特征处理17

2.2.5模型训练与评估21

2.2.6输出结论23

2.3数据分析的基本方法24

2.3.1汇总统计24

2.3.2相关性分析25

2.3.3分层抽样26

2.3.4假设检验26

2.4简单的数据分析实践27

2.4.1环境准备27

2.4.2准备数据28

2.4.3数据分析29

2.5本章小结30

第二篇算法篇

第3章构建分类模型32

3.1分类模型概述32

3.2分类模型算法34

3.2.1逻辑回归34

3.2.2朴素贝叶斯模型36

3.2.3SVM模型37

3.2.4决策树模型39

3.2.5K-近邻40

3.3分类效果评估40

3.3.1正确率41

3.3.2准确率、召回率和F1值41

3.3.3ROC和AUC42

3.4App数据的分类实现44

3.4.1选择分类器44

3.4.2准备数据45

3.4.3训练模型46

3.4.4模型性能评估48

3.4.5模型参数调优49

3.5其他分类模型50

3.5.1随机森林50

3.5.2梯度提升树51

3.5.3因式分解机模型51

3.6本章小结52

第4章构建聚类模型53

4.1聚类概述53

4.2聚类模型54

4.2.1KMeans聚类54

4.2.2DBSCAN聚类55

4.2.3主题聚类56

4.3聚类效果评价58

4.3.1集中平方误差和58

4.3.2Purity评价法59

4.4使用KMeans对鸢尾花卉数据集聚类59

4.4.1准备数据59

4.4.2特征处理60

4.4.3聚类分析60

4.4.4模型性能评估62

4.5使用DBSCAN对GPS数据进行聚类62

4.5.1准备数据63

4.5.2特征处理64

4.5.3聚类分析64

4.5.4模型参数调优65

4.6其他模型66

4.6.1层次聚类66

4.6.2基于图的聚类67

4.6.3混合聚类模型67

4.7本章小结68

第5章构建回归模型69

5.1常用回归模型69

5.1.1线性回归模型70

5.1.2回归树模型70

5.1.3其他回归模型71

5.2评估指标73

5.3回归模型优化74

5.3.1特征选择74

5.3.2特征变换74

5.4构建UCI裙子销售数据回归模型75

5.4.1准备数据75

5.4.2训练模型78

5.4.3评估效果79

5.4.4模型优化79

5.5其他回归模型案例80

5.5.1GDP影响因素分析81

5.5.2大气污染分析81

5.5.3大数据比赛中的回归问题81

5.6本章小结82

第6章构建关联规则模型83

6.1关联规则概述83

6.2常用关联规则算法84

6.2.1Apriori算法84

6.2.2FP-Growth算法85

6.3效果评估和优化86

6.3.1效果评估86

6.3.2效果优化87

6.4使用FP-Growth对豆瓣评分数据进行挖掘88

6.4.1准备数据89

6.4.2训练模型89

6.4.3观察规则91

6.4.4参数调优91

6.4.5使用算法92

6.5其他应用场景94

6.6本章小结96

第7章协同过滤97

7.1协同过滤概述97

7.2常用的协同过滤算法98

7.2.1基于用户的协同过滤99

7.2.2基于物品的协同过滤100

7.2.3矩阵分解技术101

7.2.4推荐算法的选择102

7.3评估标准103

7.3.1准确率103

7.3.2覆盖率103

7.3.3多样性104

7.3.4其他指标104

7.4使用电影评分数据进行协同过滤实践104

7.4.1准备数据105

7.4.2训练模型106

7.4.3测试模型109

7.4.4使用ALS结果111

7.5本章小结112

第8章数据降维113

8.1降维概述113

8.2常用降维算法114

8.2.1主成分分析114

8.2.2奇异值分解116

8.2.3广义降维117

8.2.4文本降维118

8.3降维评估标准121

8.4使用PCA对Digits数据集进行降维122

8.4.1准备数据122

8.4.2训练模型123

8.4.3分析降维结果124

8.5其他降维方法124

8.5.1线性判别分析124

8.5.2局部线性嵌入125

8.5.3拉普拉斯特征映射125

8.6本章小结126

第三篇综合应用篇

第9章异常检测128

9.1异常概述128

9.1.1异常的产生129

9.1.2异常检测的分类129

9.2异常检测方法130

9.2.1基于模型的方法130

9.2.2基于邻近度的方法131

9.2.3基于密度的方法132

9.2.4基于聚类的方法133

9.3异常检测系统133

9.3.1异常检测过程133

……