Spark分布式处理实战

本书以项目实践作为主线，结合必需的理论知识，以任务的形式进行内容设计，每个任务都包含任务描述及任务实施的步骤，读者按照实施步骤进行操作就可以完成相应的学习任务，从而不断提升项目实践能力。本书主要内容涉及Spark基本原理、基于IDEA搭建Spark开发环境、RDD基本原理、Spark SQL基本操作流程、电商业务系统的基本流程、电商用户行为分析的基本指标以及分析过程、通过不同的维度对销售数据进行分析、通过不同的维度对订单数据进行分析以及常用的可视化分析图表的应用场景等。 本书适合需要使用Spark进行大数据处理的程序员、架构师和产品经理作为技术参考和培训资料，也可作为高校本科生和研究生的教材。

刘均，高级实验师、高级技师、教育部课程思政教学名师、全国职业院校技能大赛优秀指导教师、重庆市黄大年教学团队成员、重庆市高职院校1+X证书学习成果专业认证委员会专家、云计算1+X中级讲师、网络工程师、国家职业技能鉴定中心考评员、重庆市政府采购评审专家；主要研究方向为计算机实验实训教学、云计算运维技术；主要从事大数据、云计算自动运维方面教学工作；参与省部级科研项目《基于运行大数据的工业机器人预测性维护关键技术研究》等项目3项；国家级在线精品课程《云计算之软件定义网络》主要成员，主要讲授《云存储技术》《Python程序设计》《云计算系统框架》等课程。 王璐烽，教授，世界技能大赛中国赛区裁判员、重庆市高校黄大年式教师团队负责人、重庆市高校中青年骨干教师、重庆市高校优秀思想政治工作者；撰写论文20余篇，其中SCI/EI收录或核心期刊10余篇；主编国家十三五规划教材1本，其余4本；主持重庆市重大教改课题1项，重点1项，其余5项；主持重庆市重大科技项目1项；主持重庆市精品在线课程1门；获得全国职业院校信息化教学大赛一等奖，重庆市科技进步三等奖，中国通信工业协会教学成果特等奖；指导学生参加全国职业院校技能大赛获一等奖、二等奖各1次；参与教育部专业标准、1+X职业技能等级标准、重庆市人社局新职业（人工智能训练师）培训标准、考核标准等研制工作。

项目1 Spark集群环境搭建 1 任务1 Spark本地模式安装 2 【任务描述】 2 【知识链接】 2 【任务实施】 5 任务2 Spark集群安装及配置 7 【任务描述】 7 【知识链接】 7 【任务实施】 7 任务3 Spark任务提交与运行 11 【任务描述】 11 【任务实施】 11 项目小结 14 项目拓展 14 思考与练习 14 项目2 Spark开发环境搭建 16 任务1 搭建Spark开发环境 17 【任务描述】 17 【知识链接】 17 【任务实施】 17 任务2 开发单词统计程序 25 【任务描述】 25 【任务实施】 25 任务3 Spark程序部署到集群中运行 30 【任务描述】 30 【任务实施】 30 项目小结 34 思考与练习 34 项目3 Spark RDD基本操作 35 任务1 Spark RDD转换算子的应用 36 【任务描述】 36 【知识链接】 36 【任务实施】 38 任务2 Spark RDD行动算子的应用 49 【任务描述】 49 【知识链接】 49 【任务实施】 49 任务3 Spark RDD分区的应用 52 【任务描述】 52 【知识链接】 52 【任务实施】 53 任务4 Spark共享变量的应用 57 【任务描述】 57 【知识链接】 57 【任务实施】 58 项目小结 59 项目拓展 59 思考与练习 59 项目4 Spark SQL操作 61 任务1 Spark SQL入门 62 【任务描述】 62 【知识链接】 62 【任务实施】 62 任务2 Spark SQL基本操作 65 【任务描述】 65 【知识链接】 65 【任务实施】 67 任务3 Spark SQL高级应用 78 【任务描述】 78 【任务实施】 78 项目小结 84 项目拓展 84 思考与练习 84 项目5 电商数据分析系统设计 86 任务1 电商系统设计 87 【任务描述】 87 【知识链接】 87 【任务实施】 87 任务2 电商数据分析流程 89 【任务描述】 89 【知识链接】 90 【任务实施】 91 项目小结 94 项目拓展 94 思考与练习 94 项目6 电商用户行为分析 95 任务1 数据说明及预处理 96 【任务描述】 96 【知识链接】 96 【任务实施】 97 任务2 用户访问量分析 101 【任务描述】 101 【任务实施】 101 任务3 用户购买行为分析 105 【任务描述】 105 【任务实施】 106 任务4 转化率分析 111 【任务描述】 111 【任务实施】 111 项目小结 113 思考与练习 114 项目7 商品销售分析 115 任务1 数据说明及预处理 116 【任务描述】 116 【知识链接】 116 【任务实施】 117 任务2 获取基本信息 122 【任务描述】 122 【任务实施】 122 任务3 基于店铺维度分析 124 【任务描述】 124 【任务实施】 125 任务4 基于商品维度分析 130 【任务描述】 130 【任务实施】 131 项目小结 134 思考与练习 134 项目8 电商订单分析 135 任务1 数据说明及预处理 136 【任务描述】 136 【知识链接】 136 【任务实施】 137 任务2 获取基本信息 140 【任务描述】 140 【任务实施】 140 任务3 基于时间维度分析 143 【任务描述】 143 【任务实施】 144 任务4 基于区域维度分析 148 【任务描述】 148 【任务实施】 148 项目小结 150 思考与练习 150 项目9 电商数据可视化分析 151 任务1 Superset基本操作 152 【任务描述】 152 【知识链接】 152 【任务实施】 153 任务2 电商用户行为数据可视化分析 162 【任务描述】 162 【任务实施】 162 任务3 电商销售数据可视化分析 167 【任务描述】 167 【任务实施】 167 任务4 电商订单数据可视化分析 170 【任务描述】 170 【任务实施】 171 项目小结 174 项目拓展 174 思考与练习 175 参考文献 176