Spark分布式处理实战

1.内容安排科学合理，易学易懂。以项目实践为主线，以任务驱动的方式介绍基础知识和实施要点。 2.难易适中，案例式教学，帮助读者全面了解Spark大数据处理开发方案。 3.不仅让读者掌握Spark方法，更注重全面培养读者的数据意识、数据思维和数据能力。 4.融合课程思政元素，提供丰富教学资源。

本书以项目实践作为主线，结合必需的理论知识，以任务的形式进行内容设计，每个任务都包含任务描述及任务实施的步骤，读者按照实施步骤进行操作就可以完成相应的学习任务，从而不断提升项目实践能力。本书主要内容涉及Spark基本原理、基于IDEA搭建Spark开发环境、RDD基本原理、SparkSQL基本操作流程、电商业务系统的基本流程、电商用户行为分析的基本指标以及分析过程、通过不同的维度对销售数据进行分析、通过不同的维度对订单数据进行分析以及常用的可视化分析图表的应用场景等。本书适合需要使用Spark进行大数据处理的程序员、架构师和产品经理作为技术参考和培训资料，也可作为高校本科生和研究生的教材。

刘均，高级实验师、高级技师、教育部课程思政教学名师、全国职业院校技能大赛优秀指导教师、重庆市黄大年教学团队成员、重庆市高职院校1+X证书学习成果专业认证委员会专家、云计算1+X中级讲师、网络工程师、国家职业技能鉴定中心考评员、重庆市政府采购评审专家；主要研究方向为计算机实验实训教学、云计算运维技术；主要从事大数据、云计算自动运维方面教学工作；参与省部级科研项目《基于运行大数据的工业机器人预测性维护关键技术研究》等项目3项；国家级在线精品课程《云计算之软件定义网络》主要成员，主要讲授《云存储技术》《Python程序设计》《云计算系统框架》等课程。 王璐烽，教授，世界技能大赛中国赛区裁判员、重庆市高校黄大年式教师团队负责人、重庆市高校中青年骨干教师、重庆市高校优秀思想政治工作者；撰写论文20余篇，其中SCI/EI收录或核心期刊10余篇；主编国家十三五规划教材1本，其余4本；主持重庆市重大教改课题1项，重点1项，其余5项；主持重庆市重大科技项目1项；主持重庆市精品在线课程1门；获得全国职业院校信息化教学大赛一等奖，重庆市科技进步三等奖，中国通信工业协会教学成果特等奖；指导学生参加全国职业院校技能大赛获一等奖、二等奖各1次；参与教育部专业标准、1+X职业技能等级标准、重庆市人社局新职业（人工智能训练师）培训标准、考核标准等研制工作。

项目1Spark集群环境搭建1
任务1Spark本地模式安装2
【任务描述】2
【知识链接】2
【任务实施】5
任务2Spark集群安装及配置7
【任务描述】7
【知识链接】7
【任务实施】7
任务3Spark任务提交与运行11
【任务描述】11
【任务实施】11
项目小结14
项目拓展14
思考与练习14
项目2Spark开发环境搭建16
任务1搭建Spark开发环境17
【任务描述】17
【知识链接】17
【任务实施】17
任务2开发单词统计程序25
【任务描述】25
【任务实施】25
任务3Spark程序部署到集群中运行30
【任务描述】30
【任务实施】30
项目小结34
思考与练习34
项目3SparkRDD基本操作35
任务1SparkRDD转换算子的应用36
【任务描述】36
【知识链接】36
【任务实施】38
任务2SparkRDD行动算子的应用49
【任务描述】49
【知识链接】49
【任务实施】49
任务3SparkRDD分区的应用52
【任务描述】52
【知识链接】52
【任务实施】53
任务4Spark共享变量的应用57
【任务描述】57
【知识链接】57
【任务实施】58
项目小结59
项目拓展59
思考与练习59
项目4SparkSQL操作61
任务1SparkSQL入门62
【任务描述】62
【知识链接】62
【任务实施】62
任务2SparkSQL基本操作65
【任务描述】65
【知识链接】65
【任务实施】67
任务3SparkSQL高级应用78
【任务描述】78
【任务实施】78
项目小结84
项目拓展84
思考与练习84
项目5电商数据分析系统设计86
任务1电商系统设计87
【任务描述】87
【知识链接】87
【任务实施】87
任务2电商数据分析流程89
【任务描述】89
【知识链接】90
【任务实施】91
项目小结94
项目拓展94
思考与练习94
项目6电商用户行为分析95
任务1数据说明及预处理96
【任务描述】96
【知识链接】96
【任务实施】97
任务2用户访问量分析101
【任务描述】101
【任务实施】101
任务3用户购买行为分析105
【任务描述】105
【任务实施】106
任务4转化率分析111
【任务描述】111
【任务实施】111
项目小结113
思考与练习114
项目7商品销售分析115
任务1数据说明及预处理116
【任务描述】116
【知识链接】116
【任务实施】117
任务2获取基本信息122
【任务描述】122
【任务实施】122
任务3基于店铺维度分析124
【任务描述】124
【任务实施】125
任务4基于商品维度分析130
【任务描述】130
【任务实施】131
项目小结134
思考与练习134
项目8电商订单分析135
任务1数据说明及预处理136
【任务描述】136
【知识链接】136
【任务实施】137
任务2获取基本信息140
【任务描述】140
【任务实施】140
任务3基于时间维度分析143
【任务描述】143
【任务实施】144
任务4基于区域维度分析148
【任务描述】148
【任务实施】148
项目小结150
思考与练习150
项目9电商数据可视化分析151
任务1Superset基本操作152
【任务描述】152
【知识链接】152
【任务实施】153
任务2电商用户行为数据可视化分析162
【任务描述】162
【任务实施】162
任务3电商销售数据可视化分析167
【任务描述】167
【任务实施】167
任务4电商订单数据可视化分析170
【任务描述】170
【任务实施】171
项目小结174
项目拓展174
思考与练习175
参考文献176