Spark 3.x大数据分析实战(视频教学版)

本书基于Spark 3.2.x版 本，从Spark核心编程语言 Scala讲起，涵盖了当前整 个Spark生态系统主流的大 数据开发技术。全书共9章 ，第1章讲解了Scala语言的 基础知识，包括IDEA工具 的使用等；第2章讲解了 Spark的主要组件、集群架 构原理、集群环境搭建以及 Spark应用程序的提交和运 行；第3～9章讲解了离线计 算框架Spark RDD、Spark SQL和实时计算框架Kafka 、Spark Streaming、 Structured Streaming以及 图计算框架GraphX等的基 础知识、架构原理，同时包 括常用Shell命令、API操作 、内核源码剖析，并通过多 个实际案例讲解各个框架的 具体应用以及与Hadoop生 态系统框架Hive、HBase、 Kafka的整合操作。 本书通俗易懂，案例丰 富，注重实操，适合Spark 新手和大数据开发人员阅读 ，也可作为培训机构和高校 大数据及相关专业的教学用 书。

张伟洋，大数据领域资深专家，拥有多年顶尖互联网公司软件研发经验，曾在互联网旅游公司任软件研发事业部经理。目前从事大数据项目讲师工作，先后多次给各大高校举行大数据专题讲座，对Hadoop及周边大数据框架ZooKeeper、Hive、HBase、Storm、Spark、Flink等有着深入的研究。高等院校云计算与大数据专业课改教材《云计算与大数据概论》《大数据开发与应用》的主要编写者。

第1章 Spark开发准备——Scala基础 1.1 什么是Scala 1.2 安装Scala 1.2.1 在Windows中安装Scala 1.2.2 在CentOS 7中安装Scala 1.3 Scala基础 1.3.1 变量声明 1.3.2 数据类型 1.3.3 表达式 1.3.4 循环 1.3.5 方法与函数 1.4 集合 1.4.1 数组 1.4.2 List 1.4.3 Map映射 1.4.4 元组 1.4.5 Set 1.5 类和对象 1.5.1 类的定义 1.5.2 单例对象 1.5.3 伴生对象 1.5.4 get和set方法 1.5.5 构造器 1.6 抽象类和特质 1.6.1 抽象类 1.6.2 特质 1.7 使用Eclipse创建Scala项目 1.7.1 安装Scala for Eclipse IDE 1.7.2 创建Scala项目 1.8 使用IntelliJ IDEA创建Scala项目 1.8.1 在IDEA中安装Scala插件 1.8.2 创建Scala项目 1.9 动手练习 第2章 初识Spark 2.1 大数据开发的总体架构 2.2 什么是Spark 2.3 Spark的主要组件 2.4 Spark运行架构 2.4.1 YARN集群架构 2.4.2 Spark Standalone架构 2.4.3 Spark On YARN架构 2.5 Spark集群搭建与测试 2.5.1 Spark Standalone模式的集群搭建 2.5.2 Spark On YARN模式的集群搭建 2.5.3 Spark HA的搭建 2.6 Spark应用程序的提交 2.7 Spark Shell的使用 2.8 动手练习 第3章 Spark RDD弹性分布式数据集 3.1 什么是RDD