Spark 3.x大数据分析实战 视频教学版

"本书使用Spark 3.2.x撰写，使用通俗易懂的语言描述，对于小白来说非常友好。 知识全面，全书围绕Spark大数据生态构建知识体系，涵盖Spark 3架构原理、集群搭建、计算框架、Shell 命令、API操作、内核源码剖析、与Hive和Kafaka与HBase的整合操作等内容 由行业大数据专家倾力打造，专业性毋庸置疑，全书运用十分通俗的语言和详尽的代码分析，帮助从未接触过Spark的读者无痛上手，如果你想学习Spark，本书是一个值得入手的选择。 拒绝纸上谈兵，全书提供20个大小案例和项目，并使用手把手的教学方法，各章还提供动手练习题，让读者快速掌握实用大数据项目技能。 配套丰富的资源，包括上机练习源码、教学视频、PPT课件，读者还可以关注作者公众号“奋斗在IT”获取更多大数据学习资源。"

   本书基于Spark3.2.x版本，从Spark核心编程语言Scala讲起，涵盖了当前整个Spark生态系统主流的大数据开发技术。全书共9章，第1章讲解了Scala语言的基础知识，包括IDEA工具的使用等；第2章讲解了Spark的主要组件、集群架构原理、集群环境搭建以及Spark应用程序的提交和运行；第3～9章讲解了离线计算框架SparkRDD、SparkSQL和实时计算框架Kafka、SparkStreaming、StructuredStreaming以及图计算框架GraphX等的基础知识、架构原理，同时包括常用Shell命令、API操作、内核源码剖析，并通过多个实际案例讲解各个框架的具体应用以及与Hadoop生态系统框架Hive、HBase、Kafka的整合操作。
本书通俗易懂，案例丰富，注重实操，适合Spark新手和大数据开发人员阅读，也可作为培训机构和高校大数据及相关专业的教学用书。

张伟洋，大数据领域资深专家，拥有多年互联网公司软件研发经验，曾在互联网旅游公司担任软件研发事业部经理。先后多次为中国海洋大学、曲阜师范大学、青岛理工大学等高校举行大数据专题讲座，对Hadoop及周边大数据框架ZooKeeper、Hive、HBase、Storm、Spark、Flink等有深入的研究，公众号“奋斗在IT” 的创办人。已出版《Hadoop大数据技术开发实战》《Flink大数据分析实战》等图书。

第1章Spark开发准备——Scala基础
1.1什么是Scala
1.2安装Scala
1.2.1在Windows中安装Scala
1.2.2在CentOS7中安装Scala
1.3Scala基础
1.3.1变量声明
1.3.2数据类型
1.3.3表达式
1.3.4循环
1.3.5方法与函数
1.4集合
1.4.1数组
1.4.2List
1.4.3Map映射
1.4.4元组
1.4.5Set
1.5类和对象
1.5.1类的定义
1.5.2单例对象
1.5.3伴生对象
1.5.4get和set方法
1.5.5构造器
1.6抽象类和特质
1.6.1抽象类
1.6.2特质
1.7使用Eclipse创建Scala项目
1.7.1安装ScalaforEclipseIDE
1.7.2创建Scala项目
1.8使用IntelliJIDEA创建Scala项目
1.8.1在IDEA中安装Scala插件
1.8.2创建Scala项目
1.9动手练习
第2章初识Spark
2.1大数据开发的总体架构
2.2什么是Spark
2.3Spark的主要组件
2.4Spark运行架构
2.4.1YARN集群架构
2.4.2SparkStandalone架构
2.4.3SparkOnYARN架构
2.5Spark集群搭建与测试
2.5.1SparkStandalone模式的集群搭建
2.5.2SparkOnYARN模式的集群搭建
2.5.3SparkHA的搭建
2.6Spark应用程序的提交
2.7SparkShell的使用
2.8动手练习
第3章SparkRDD弹性分布式数据集
3.1什么是RDD
3.2创建RDD
3.2.1从对象集合创建RDD
3.2.2从外部存储创建RDD
3.3RDD的算子
3.3.1转化算子
3.3.2行动算子
3.4RDD的分区
3.4.1分区数量
3.4.2自定义分区器
3.5RDD的依赖
3.5.1窄依赖
3.5.2宽依赖
3.5.3Stage划分
3.6RDD的持久化
3.6.1存储级别
3.6.2查看缓存
3.7RDD的检查点
3.8共享变量
3.8.1广播变量
3.8.2累加器
3.9案例分析：SparkRDD实现单词计数
3.9.1新建Maven管理的Spark项目
3.9.2编写WordCount程序
3.9.3提交程序到集群
3.10案例分析：SparkRDD实现分组求TopN
3.11案例分析：SparkRDD实现二次排序
3.12案例分析：SparkRDD计算成绩平均分
3.13案例分析：SparkRDD倒排索引统计每日新增用户
3.14案例分析：SparkRDD读写HBase
3.14.1读取HBase表数据
3.14.2写入HBase表数据
3.15案例分析：SparkRDD数据倾斜问题的解决
3.15.1数据倾斜的常用解决方法
3.15.2使用随机key进行双重聚合
3.15.3WebUI查看Spark历史作业
3.16动手练习
第4章Spark内核源码分析
4.1Spark集群启动原理分析
4.2Spark应用程序提交原理分析
4.3Spark作业工作原理分析
4.3.1MapReduce的工作原理
4.3.2Spark作业的工作原理
4.4Spark检查点原理分析
第5章SparkSQL结构化数据处理引擎
5.1什么是SparkSQL
……