Spark3.x综合项目实战

本书分为基础篇、案例 篇两部分。在基础篇（第1 、2章）中介绍了Spark运行 环境的搭建、Spark的生态 体系、编程模型、Scala基 本语法、高阶函数、集合等 方面的基础知识；在案例篇 （第3～7章）中基于5个综 合案例翔实地介绍了如何使 用Spark实现音乐、房地产 、气象、电商、电影等领域 大数据分析与挖掘的技术与 技巧，主要目的是通过 Spark综合应用项目，帮助 读者食味知髓，领悟Spark 项目的精妙，修炼成Spark 高手。同时，本书还提供了 详细的实训指导、数据源和 程序代码等配套资源。 本书既可以作为普通高 等院校大数据、计算机、人 工智能等相关专业的本科生 、研究生的实验实训教材， 也可以作为大学生竞赛、毕 业设计的重要素材和参考读 物。同时，还可满足数据分 析从业人员及数据挖掘爱好 者的需要。

\"马卫花，西安五润信息技术有限公司项目经理，高级工程师。主持参与银行、旅游、交通等多个大型企业项目和大数据项目的研发，主要研究方向为大数据、移动开发、项目管理等，承担众多985和211学校的大数据和人工智能的实践课程的实习实训。 张文胜，西安欧亚学院教师，副教授。主要研究方向为移动应用开发，大数据等，主持多项省部级项目，主编教材10余部。 段毅，西安电子科技大学教师，副教授，软件工程硕士，具有二十余年软件工程实践教学工作经验，主要研究方向为软件工程，大数据，指导学生参加ACM-ICPC等程序设计类竞赛获得国际国内金银奖多项。\"

基础篇 第1章 Spark概述 1.1 认识Spark 1.2 了解Spark生态系统 1.3 Spark环境安装 1.3.1 安装JDK 1.3.2 Hadoop集群搭建 1.3.3 Spark安装及配置 1.4 Spark初体验 1.5 掌握Spark编程模型 本章小结 本章练习 第2章 Spark基础 2.1 Scala初识 2.1.1 学习使用Scala解释器 2.1.2 Scala变量定义 2.1.3 Scala数据类型 2.1.4 Scala算术运算符 2.1.5 Scala关系运算符 2.1.6 Scala逻辑运算符 2.1.7 Scala选择结构 2.1.8 Scala循环结构 2.1.9 Scala数组 2.1.10 Scala函数 2.1.11 Scala元组 2.1.12 Scala集合 2.2 计算淡旺季飞机票的价格 2.3 按班级计算学生平均分 2.4 计算城市气温的均值 本章小结 本章练习 案例篇 第3章 流行音乐数据分析 3.1 项目背景 3.2 分析任务 3.3 技术准备 3.3.1 实验环境 3.3.2 Spark RDD 3.3.3 Spark编程入门 3.3.4 Spark运行架构 3.3.5 Spark运行模式 3.4 任务实现 3.4.1 数据源 3.4.2 架构设计 3.4.3 设计思路 3.4.4 数据分析 3.4.5 可视化展示 3.5 部署运行 本章小结 本章练习 第4章 区域性房屋交易数据分析 4.1 项目背景 4.2 分析任务 4.3 技术准备 4.3.1 实验环境 4.3.2 Spark SQL 4.4 任务实现 4.4.1 数据源 4.4.2 架构设计 4.4.3 设计思路 4.4.4 统计分析 4.4.5 可视化展示 4.5 部署运行 本章小结 本章练习 第5章 基于数据挖掘的气象分析 5.1 项目背景 5.2 分析任务 5.3 技术准备 5.3.1 实验环境 5.3.2 HBase 5.3.3 Spark MLlib机器学习 5.4 任务实现 5.4.1 数据源导HBase 5.4.2 架构设计 5.4.3 设计思路 5.4.4 数据分析 5.4.5 可视化展示 5.4.6 气温预测分析 5.5 部署运行 本章小结 本章练习 第6章 基于广告流量数据的实时分析 6.1 项目背景 6.2 实现任务 6.3 技术准备 6.3.1 实验环境 6.3.2 Kafka 6.3.3 Spark Streaming 6.3.4 Spark Streaming整合Kafka操作 6.4 任务实现 6.4.1 数据源 6.4.2 架构设计 6.4.3 设计思路 6.4.4 数据实时发送 6.4.5 实时分析 6.4.6 可视化展示 6.5 部署运行 本章小结 本章练习 第7章 基于多元分析的电影智能推荐系统 7.1 项目背景 7.2 实现任务 7.3 技术准备 7.3.1 实验环境 7.3.2 交替最小二乘推荐算法 7.4 过程实现 7.4.1 架构设计 7.4.2 设计思路 7.4.3 电影数据分析 7.4.4 电影智能推荐 7.5 部署与运行 本章小结 本章练习 参考文献