PySpark原理深入与编程实战(微课视频版)/开发者成长丛书

本书系统讲述Apache Spark/PySpark大数据计算 平台的原理，以及如何将 Apache PySpark应用于大 数据的实时流处理、批处理 等场景。通过对原理的深入 讲解和对实践示例、案例的 讲解，使读者了解并掌握 Apache Spark/PySpark的基 本原理和技能，拉近理论与 实践的距离。 全书共分为8章，主要内 容包括Spark架构原理与集 群搭建、开发和部署 PySpark应用程序、PySpark 核心编程、PySpark SQL、 PySpark结构化流、PySpark 大数据分析综合案例。本书 源码全部在Apache Spark 3.1.2上调试成功，所有示 例和案例均基于Python 3.x 语言。 为降低读者学习大数据 技术的门槛，本书除提供了 丰富的上机实践操作和详细 的范例程序讲解之外，还提 供了搭建好的Hadoop、 Hive数据仓库和PySpark大 数据开发和学习环境。读者 既可参照本书的讲解自行搭 建Hadoop和PySpark环境， 也可直接使用本书提供的开 发和学习环境，快速开始大 数据和PySpark的学习。 本书内容全面、实例丰 富、可操作性强，做到了理 论与实践相结合。本书适合 大数据学习爱好者、想要入 门Apache Spark/PySpark的 读者作为入门和提高的技术 参考书，也适合用作高等院 校大数据专业相关课程的教 材或教学参考书。

辛立伟，一个在IT领域摸爬滚打二十多年的老程序员、技术培训师、技术作者。横跨Java、数据库、大数据开发与分析、人工智能等多个领域，参与多个IT项目的架构设计与开发。长期坚持撰写技术博客，曾在多个大学讲授Java开发、数据库和大数据技术课程，曾担任中国石油大学（青岛校区）等多所院校的外聘讲师。

第1章 Spark架构原理与集群搭建（回78min） 1.1 Spark简介 1.2 Spark技术找 1.2.1 Spark Core 1.2.2 Spark SQL 1.2.3 Spark Streaming和Structured Streaming 1.2.4 Spark MLlib 1.2.5 Spark GraphX 1.2.6 SparkR 1.3 Spark和PySpark架构原理 1.3.1 Spark集群和资源管理系统 1.3.2 Spark应用程序 1.3.3 Spark Driver和Executor 1.3.4 PySpark架构 1.4 Spark程序部署模式 1.5 安装和配置Spark集群 1.5.1 安装Spark 1.5.2 了解Spark目录结构 1.5.3 配置Spark/PySpark集群 1.5.4 验证PySpark安装 1.6 配置Spark历史服务器 1.6.1 历史服务器配置 1.6.2 启动Spark历史服务器 1.7 使用PySpark Shell进行交互式分析 1.7.1 运行模式--master 1.7.2 启动和退出PySpark Shell 1.7.3 PySpark Shell常用命令 1.7.4 SparkContext和SparkSession 1.7.5 Spark Web UI 1.8 使用spark-submit提交PySpark应用程序 1.8.1 spark-submit指令的各种参数说明 1.8.2 提交pi.ipynb程序，计算圆周率x值 1.8.3 将PySpark程序提交到YARN集群上执行 第2章 开发和部署PySpark应用程序 2.1 使用PyCharm开发PySpark应用程序 2.1.1 准备数据文件 2.1.2 安装PyCharm 2.1.3 创建一个新的PyChamm项目 2.1.4 安装PySpark包 2.1.5 创建PySpark应用程序 2.1.6 部署到集群中运行 2.2 使用Zeppelin进行交互式分析 2.2.1 下载Zeppelin安装包 2.2.2 安装和配置Zeppelin 2.2.3 配置Spark/PySpark解释器 2.2.4 创建和执行Notebook文件 2.3 使用Jupyter Notebook进行交互式分析 2.3.1 配置PySpark Driver使用Jupyter Notebook 2.3.2 使用findSpark包 第3章 PySpark核心编程