Spark大数据分析与实战(第2版)/大数据技术与应用丛书

本书以Spark 3.x和Scala 2.x为主线，全面介绍了 Spark及其生态体系中常用 大数据项目的安装和使用。 全书共10章，分别讲解了 Scala语言基础、Spark基础 知识、Spark部署、Spark RDD、Spark SQL、HBase 、Kafka、Spark Streaming 、Structured Streaming和 Spark MLlib，并在最后完 整开发了一个在线教育学生 学习情况分析系统，帮助大 家巩固前面所学的内容。 本书附有配套视频、教 学PPT、教学设计、测试题 等资源，同时，为了帮助初 学者更好地学习本书中的内 容，还提供了在线答疑，欢 迎读者关注。 本书可以作为高等教育 本、专科院校数据科学与大 数据技术及相关专业的教材 ，并适合大数据开发初学者 、大数据分析与挖掘的从业 者阅读。

第1章 Scala语言基础 1.1 Scala概述 1.1.1 初识Scala 1.1.2 Scala的安装 1.1.3 在IntelliJ IDEA中安装Scala插件 1.1.4 Scala初体验 1.2 Scala的基础语法 1.2.1 变量 1.2.2 常量 1.2.3 数据类型 1.2.4 运算符 1.2.5 控制结构语句 1.2.6 方法和函数 1.3 Scala数据结构 1.3.1 数组 1.3.2 元组 1.3.3 集合 1.4 Scala面向对象 1.4.1 类和对象 1.4.2 单例对象 1.4.3 继承 1.4.4 特质 1.5 本章小结 1.6 课后习题 第2章 Spark基础 2.1 初识Spark 2.1.1 Spark概述 2.1.2 Spark的特点 2.1.3 Spark应用场景 2.1.4 Spark与MapReduce的区别 2.2 Spark基本架构及运行流程 2.2.1 基本概念 2.2.2 Spark基本架构 2.2.3 Spark运行流程 2.3 Spark的部署模式 2.4 部署Spark 2.4.1 基于Local模式部署Spark 2.4.2 基于Standalone模式部署Spark 2.4.3 基于High Availability模式部署Spark 2.4.4 基于Spark on YARN模式部署Spark 2.5 Spark初体验 2.6 Spark Shell 2.6.1 Spark Shell命令 2.6.2 读取HDFS文件实现词频统计 2.7 案例——开发Spark程序 2.7.1 环境准备 2.7.2 基于本地模式开发Spark程序 2.7.3 基于集群模式开发Spark程序 2.8 本章小结 2.9 课后习题