Spark大数据开发

本书基于Spark数据处理工作流程，从不同的学习情景中提炼出典型的工作环节，通过理论与实践相结合的方式，体现了大数据技术在各种环境下的实际应用。本书内容主要包括搭建Spark开发环境、使用Scala与RDD统计平台数据、使用Spark SQL分析用人单位数据、使用Spark Streaming分析平台数据、使用GraphX与ML分析平台数据共六个学习情境并在书末附有工作任务单。本书适用于职业院校计算机类以及大数据技术相关专业，也可作为Spark大数据开发的初学者的参考用书。

学习情境一 搭建Spark开发环境
1．1 典型工作环节1：需求分析
1．2 典型工作环节2：步骤分析
1．3 典型工作环节3：认识Spark
1．4 典型工作环节4：调研Spark应用场景
1．5 典型工作环节5：准备集群系统
1．6 典型工作环节6：搭建Spark平台环境
1．7 归纳总结与拓展提高
1．8 课后练习
学习情境二 使用Scala统计平台数据
2．1 典型工作环节1：需求分析
2．2 典型工作环节2：步骤分析
2．3 典型工作环节3：优选系统开发语言
2．4 典型工作环节4：了解Scala语言
2．5 典型工作环节5：搭建开发环境
2．6 典型工作环节6：学习Scala语言
2．7 典型工作环节7：统计大数据平台岗位数据
2．8 归纳总结与拓展提高
2．9 课后练习
学习情境三 使用RDD统计平台数据
3．1 典型工作环节1：需求分析
3．2 典型工作环节2：步骤分析
3．3 典型工作环节3：学习RDD架构原理与入门
3．4 典型工作环节4：学习Spark RDD编程基础
3．5 典型工作环节5：使用RDD统计平台职位数据
3．6 归纳总结与拓展提高
3．7 课后练习
学习情境四 使用Spark SQL分析用人单位数据
4．1 典型工作环节1：需求分析
4．2 典型工作环节2：步骤分析
4．3 典型工作环节3：认识Hive和Spark SQL
4．4 典型工作环节4：系统开发环境搭建
4．5 典型工作环节5：导入数据到Hive
4．6 典型工作环节6：使用Spark SQL分析平台数据
4．7 归纳总结与拓展提高
4．8 课后练习
学习情境五 使用Spark Streaming分析平台数据
5．1 典型工作环节1：需求分析
5．2 典型工作环节2：步骤分析
5．3 典型工作环节3：学习流计算
5．4 典型工作环节4：学习Spark Streaming
5．5 典型工作环节5：系统开发环境搭建
5．6 典型工作环节6：使用Spark Streaming分析平台数据
5．7 归纳总结与拓展提高
5．8 课后练习
学习情境六 使用GraphX与ML分析平台数据
6．1 典型工作环节1：需求分析
6．2 典型工作环节2：步骤分析
6．3 典型工作环节3：认识GraphX
6．4 典型工作环节4：使用GraphX分析平台数据
6．5 典型工作环节5：认识Machine Learning
6．6 典型工作环节6：常用Spark MLlib机器学习库API
6．7 典型工作环节7：使用ML分析平台数据
6．8 归纳总结与拓展提高
6．9 课后练习
工作任务单1
工作任务单2
工作任务单3
工作任务单4
工作任务单5
工作任务单6
参考文献