Spark大数据处理技术(普通高等教育数据科学与大数据技术专业教材)

本书面向大数据技术专 业，遵循知识性、实用性、 系统性、条理性、连贯性和 先进性的原则，力求激发读 者的兴趣，注重实践性环节 教学，注重各知识点之间的 衔接，精心组织内容，做到 由浅入深、突出重点。 本章共9章，第1章为 Spark基础，主要包括Spark 基础知识、Spark应用场景 以及Spark生态系统等内容 ；第2章为Scala语言基础和 面向对象编程，包括Scala 编程基础、Scala数组和集 合以及映射、Scala对象和 多继承等内容；第3章为 Spark设计与运行原理，包 括Spark架构、Spark Core 组成、Spark编程模型和计 算模型等内容；第4章为 Spark环境搭建和使用，包 括Spark系列软件环境配置 （JDK、Hadoop、 MySQLServer、Hive、 ZooKeeper、Scala、Kafka 、Spark）和Spark-shell交 互式命令工具使用等内容； 第5章为Spark RDD弹性分 布式数据集，包括RDD创建 方式、RDD转换算子和行动 算子操作方法等内容；第6 章为Spark SQL结构化数据 处理引擎，包括DataFrame 和DataSet的创建和操作以 及利用Spark SQL操作 MySQL数据源等内容；第7 章为Spark Streaming实时 流处理引擎，包括Spark Streaming程序开发、 DStream高级数据源使用和 数据转换操作等内容；第8 章为Spark MLlib机器学习 ，包括机器学习基础、 Spark MLlib机器学习库和 常用算法等内容；第9章为 订单交易监控系统，主要完 成订单交易实时监控台的搭 建，通过综合案例全面应用 了Spark大数据处理技术中 几乎所有知识点，帮助读者 学习使用Spark进行大数据 技术开发和应用。 本书可作为本专科或高 职院校学生大数据技术课程 教材，也可供大数据技术爱 好者或其他对大数据技术感 兴趣的人员学习。 本书配有电子课件，读 者可以从中国水利水电出版 社网站 （www.waterpub.com.cn ）或万水书苑网站 （www.wsbookshow.com ）免费下载。

前言 第1章 Spark基础 1.1 初识Spark 1.1.1 Spark简介 1.1.2 Spark发展 1.2 Spark应用场景 1.3 Spark生态系统 1.4 Spark与Hadoop对比 1.5 Spark多语言编程 本章小结 练习一 第2章 Scala语言基础 2.1 Scala语言概述 2.1.1 Scala语言简介 2.1.2 Scala编译器安装 2.2 Scala命名规范 2.2.1 基本语法 2.2.2 Scala关键字 2.2.3 Scala注释 2.3 变量 2.3.1 val变量 2.3.2 var变量 2.4 数据类型和运算符 2.4.1 数据类型 2.4.2 运算符 2.5 Scala控制结构 2.5.1 if…else语句 2.5.2 循环语句 2.6 函数的定义和调用 2.6.1 内置函数和自定义函数 2.6.2 函数的参数 2.7 Scala的lazy值 2.8 异常Exception的处理 2.9 数组 2.9.1 定长数组和变长数组 2.9.2 遍历数组 2.9.3 数组转换 2.9.4 数组常用方法 2.10 元组 2.10.1 创建元组 2.10.2 元组的访问和遍历 2.10.3 拉链操作 2.11 集合 2.11.1 列表（List） 2.11.2 集合（Set） 2.11.3 映射（Map） 2.12 类 2.12.1 类的定义 2.12.2 get方法和set方法 2.12.3 构造器 2.12.4 内部类 2.13 单例对象和伴生对象 2.13.1 单例（object）对象 2.13.2 伴生对象 2.13.3 apply方法 2.14 Scala中的继承 2.14.1 父类具有无参构造器的继承 2.14.2 父类具有带参构造器的继承 2.15 抽象 2.16 Scala中的特质 2.16.1 将特质作为接口使用 2.16.2 在特质中定义具体的方法 2.16.3 混合使用特质的具体方法和抽象方法 2.17 Scala包和引用 2.17.1 创建包 2.17.2 引用 2.17.3 包重命名和隐藏方法 本章小结 练习二 第3章 Spark设计与运行原理 3.1 Spark架构设i计 3.1.1 Spark相关术诱 3.1.2 Spark架构 3.1.3 Spark运行流程 3.2 Spark核心功能 3.2.1 Spark Core组成 3.2.2 Spark编程模型 3.2.3 Spark计算模型 3.3 Spark运行模式 3.3.1 Local（本地）模式 3.3.2 Standalone（独立）模式 3.3.3 Mesos（Spark on Mesos）模式 3.3.4 Yarm（Spark on Yam）模式 本章小结 练习三 第4章 Spark环境搭建和使用 4.1 Spark开发环境阀述 4.2 操作系统及其网络环境准备 4.2.1 操作系统环境 4.2.2 远程登录 4.2.3 Limux系统软件源配置 4.2.4 安装和配置第二台和第三台虚拟机 4.3 Spark环境搭建 4.3.1 安装JDK 4.3.2 安装Hadoop 4.3.3 安装MySQL Server 4.3.4 安装Hive 4.3.5 安装ZooKeeper 4.3.6 安装Scala 4.3.7 安装Kafka 4.3.8 安装Spark 4.4 Spark集群环境测试 4.4.1 使用Spark-submit提交任务 4.4.2 使用Spark-shell交互式命令工具 本章小结 练习四 策5章 Spark RDD弹性分布式数据集 5.1 RDD简介 5.1.1 RDD的特征 5.1.2 词频统计（WordCount）案例实现过程 S.1.3 RDD的创建 5.2 常用操作 5.2.1 常用的转换 5.2.2 常用的动作 5.2.3 实例操作 5.3 RDD的分区 5.3.1 分区的概念 5.3.2 分区原则和方法 3.4 持久化 5.4.1 持久化存储级别 5.4.2 持久化存储级别的选择 5.5 容错机制 3.6 综合实例 本章小结 练习五 第6章 Spark SQL结构化数据处理引单 6.1 Spark SQL的基础知识 6.1.1 Spark SQL简介 6.1.2 Spark SQL数据抽象 6.1.3 程序主入口Spark:Session 6.2 DataFrame 6.2.1 DataFrame简介 6.2.2 创建DataFrame 6.2.3 DataFrame查看操作 6.2.4 DataFrame查询操作 6.2.5 DataFrame输出操作 6.3 DataSet 6.3.1 DataSet简介 6.3.2 创建DataSet 6.4 Spark SQL操作数据源 本章小结 练习六 第7章 Spark Streaming实时流处理引单 7.1 离线计算与实时计算 7.1.1 离线计算 7.1.2 实时计算 7.1.3 离线计算与实时计算比较 7.2 初探Spark Streaming 7.2.1 Spark Streaming简介 7.2.2 Spark Streaming工作原理 7.2.3 Spark Streaming入门程序 7.3 Spark Streaming程序开发 7.3.1 Spark Streaming环境准备 7.3.2 Spark Streaming项目搭建 7.3.3 Spark Streaming核心代码 7.3.4 Spark Streaming启动及测试 7.4 DStream输入 7.4.1 离散流（DStream） 7.4.2 DStream输入源 7.4.3 文件流数据源 7.4.4 RDD队列流 7.4.5 Spark Streaming整合Flume 7.4.6