Spark编程基础(数据科学与大数据技术专业系列规划教材)

林子雨、赖永炫、陶继平编著的《Spark编程基 础(数据科学与大数据技术专业系列规划教材)》以 Scala作为开发Spark应用程序的编程语言，系统介绍 了spark编程的基础知识。全书共7章，内容包括大数 据技术概述、Spark的设计与运行原理、spark环境搭 建和使用方法、RDD编程、Spark SQL、Spark Streaming和Spark MLlib。 本书每章都安排了入门级的编程实践操作，以便 使读者能更好地学习和更牢固地掌握Spark编程方法 。本书配套官网免费提供了全套的在线教学资源，包 括讲义PPT、习题、源代码、软件、数据集、授课视 频、上机实验指南等。 本书可以作为高等院校计算机、软件工程、数据 科学与大数据技术等专业的进阶级大数据课程教材， 用于指导Spark编程实践，也可供相关技术人员参考 。

林子雨（1978－），男，博士，厦门大学计算机科学系助理教授，厦门大学云计算与大数据研究中心创始成员，厦门大学数据库实验室负责人，中国计算机学会数据库专委会委员，中国计算机学会信息系统专委会委员。于2001年获得福州大学水利水电专业学士学位，2005年获得厦门大学计算机专业硕士学位，2009年获得北京大学计算机专业博士学位。中国高校首个“数字教师”提出者和建设者（http://www.cs.xmu.edu.cn/linziyu），2009年至今，“数字教师”大平台累计向网络免费发布超过100万字高价值的教学和科研资料，累计网络访问量超过100万次。 主要研究方向为数据库、数据仓库、数据挖掘、大数据和云计算，发表期刊和会议学术论文多篇，并作为课题组负责人承担了国家自然科学基金和福建省自然科学基金项目。曾作为志愿者翻译了Google Spanner、BigTable和《Architecture of a Database System》等大量英文学术资料，与广大网友分享，深受欢迎。2013年在厦门大学开设大数据课程，并因在教学领域的突出贡献和学生的认可，成为2013年度厦门大学教学类奖教金获得者。

第1章 大数据技术概述 1.1 大数据的概念与关键技术 1.1.1 大数据的概念 1.1.2 大数据关键技术 1.2 代表性大数据技术 1.2.1 Hadoop 1.2.2 Spark 1.2.3 Flink 1.2.4 Beam 1.3 编程语言的选择 1.4 在线资源 1.5 本章小结 1.6 习题 实验1 Linux系统的安装和常用命令 一、实验目的 二、实验平台 三、实验内容和要求 四、实验报告 第2章 Spark的设计与运行原理 2.1 概述 2.2 Spark生态系统 2.3 Spark运行架构 2.3.1 基本概念 2.3.2 架构设计 2.3.3 Spark运行基本流程 2.3.4 RDD的设计与运行原理 2.4 Spark的部署方式 2.5 本章小结 2.6 习题 第3章 Spark环境搭建和使用方法 3.1 安装Spark 3.1.1 基础环境 3.1.2 下载安装文件 3.1.3 配置相关文件 3.1.4 Spark和Hadoop的交互 3.2 在spark-shell中运行代码 3.2.1 spark-shell命令 3.2.2 启动spark-shell 3.3 开发Spark独立应用程序 3.3.1 安装编译打包工具 3.3.2 编写Spark应用程序代码 3.3.3 编译打包 3.3.4 通过spark-submit运行程序 3.4 Spark集群环境搭建 3.4.1 集群概况 3.4.2 搭建Hadoop集群 3.4.3 在集群中安装Spark 3.4.4 配置环境变量 3.4.5 Spark的配置 3.4.6 启动Spark集群