Spark原理深入与编程实战(微课视频版)/开发者成长丛书

本书系统讲述Apache Spark大数据计算平台的原 理，以及如何将Apache Spark应用于大数据的实时 流处理、批处理、图计算等 各个场景。通过深入学习原 理和对实践示例、案例的综 合应用，使读者了解并掌握 Apache Spark大数据计算 平台的基本原理和技能，接 近理论与实践的距离。 全书共分为13章，主要 内容包括Spark架构原理与 集群搭建、开发和部署 Spark应用程序、Spark核心 编程、Spark SQL、Spark SQL高级分析、Spark Streaming流处理、Spark结 构化流、Spark结构化流高 级处理、Spark图处理库 Graph Frame、下一代大数 据技术（Delta Lake数据湖 、leeberg数据湖和Hudi数 据湖）、Spark大数据处理 综合案例。本书源码全部在 Apache Spark 3.1.2上调试 成功，所有示例和案例均基 于Scala语言。 为降低读者学习大数据 技术的门槛，本书除了提供 丰富的上机实践操作和范例 程序详解外，还为购买和使 用本书的读者提供了搭建好 的Hadoop、Hive数据仓库 和Spark大数据开发及学习 环境。读者既可参照本书的 讲解自行搭建Hadoop和 Spark环境，也可直接使用 作者提供的开发和学习环境 ，快速开始大数据和Spark 、数据湖的学习。 本书适合大数据学习爱 好者、想要入门Apache Spark的读者作为入门和提 高的技术参考书，也适合用 作高等院校大数据专业相关 的学生和老师的教材或教学 参考书。

辛立伟，一个在IT领域摸爬滚打二十多年的老程序员、技术培训师、技术作者。横跨Java、数据库、大数据开发与分析、人工智能等多个领域，参与多个IT项目的架构设计与开发。长期坚持撰写技术博客，曾在多个大学讲授Java开发、数据库和大数据技术课程，曾担任中国石油大学（青岛校区）等多所院校的外聘讲师。 张帆，硕士，副教授，中国计算机学会会员，河南省教育厅学术技术带头人，华为认证openGauss数据库工程师。主持参与各级项目19项，发表论文22篇，参编著作5部。研究方向为数据库技术、大数据存储与处理技术、云计算技术。 张会娟，博士，华北水利水电大学公共管理学院教师。于2020年在河南理工大学测绘科学与技术系获得工学博士学位。研究兴趣包括地理信息系统、遥感、人工智能等方向，在数据挖掘、深度学习等方面有深入研究，在国内外期刊发表相关论文多篇。

第1章 Spark架构原理与集群搭建 1.1 Spark简介 1.2 Spark技术栈 1.2.1 Spark Core 1.2.2 Spark SQL 1.2.3 Spark Streaming和Structured Streaming 1.2.4 Spark MLlib 1.2.5 Spark GraphX 1.2.6 SparkR 1.3 Spark架构原理 1.3.1 Spark集群和资源管理系统 1.3.2 Spark应用程序 1.3.3 SparkDriver和Executor 1.4 Spark程序部署模式 1.5 安装和配置Spark集群 1.5.1 安装Spark 1.5.2 了解Spark目录结构 1.5.3 配置Spark集群 1.5.4 验证Spark安装 1.6 配置Spark历史服务器 1.6.1 历史服务器配置 1.6.2 启动Spark历史服务器 1.7 使用spark-shell进行交互式分析 1.7.1 运行模式--master 1.7.2 启动和退出spark-shell 1.7.3 spark-shell常用命令 1.7.4 SparkContext和SparkSession 1.7.5 SparkWeb UI 1.8 使用spark-submit提交Spark应用程序 1.8.1 spark-submit指令的各种参数说明 1.8.2 提交SparkPi程序，计算圆周率π值 1.8.3 将SparkPi程序提交到YARN集群上执行 第 2章 开发和部署Spark应用程序 2.1 使用IntelliJ IDEA开发SparkSBT应用程序 2.1.1 安装IntelliJ IDEA 2.1.2 配置 IntelliJ IDEA Scala环境 2.1.3 创建 IntelliJ IDEA SBT项目 2.1.4 配置SBT构建文件 2.1.5 准备数据文件 2.1.6 创建Spark应用程序 2.1.7 部署分布式Spark应用程序 2.1.8 远程调试Spark程序 2.2 使用IntelliJ IDEA开发SparkMaven应用程序 2.2.1 创建IntelliJ IDEA Maven项目 2.2.2 验证SDK安装和配置 2.2.3 项目依赖和配置管理 2.2.4 测试Spark程序 2.2.5 项目编译和打包 2.3 使用Java 开发Spark应用程序 2.3.1 创建一个新的IntelliJ项目