Spark基础编程(Scala版)/大数据与人工智能技术丛书

\"主要内容包括，大数据技术概述（或背景知识），Scala基础知识，Spark基础，RDD编程，Spark SQL开发，Spark Streaming / Structured Streaming编程，MLLib 机器学习编程等基础内容。 主要作为本科生数据科学与大数据技术、计算机科学与技术等相关专业必修或选修课程教科书，或作为相关工程技术人员的参考书。 本教材基于Spark 3.3.x等新版本所带来的开发方式、方法的变化，从工业、服务业等行业实际应用开发的角度，介绍Spark开发的基础知识，开发过程中的注意事项，并提供合理建议，从而引导学习过程更贴近大数据开发实际。 除了不同于其他教材所讲解的内容基础未基于新的软件产品或平台外，本教程更是从工业、服务行业大数据开发实际需求出发，引导学习者养成良好的开发习惯，为高效率地解决实际问题打开坚实基础。 \"

曹如军,工学博士，温州大学计算机与人工智能学院副教授。主要研究方向为空间大数据。具有丰富的企业经历，开发或主持开发的项目或系统在业内有较好的口碑。

目录 第1章大数据概述 1.1大数据的概念 1.2大数据的关键技术 1.3大数据计算模式 1.4本书内容介绍 1.5Linux虚拟机的安装与使用 1.5.1安装环境 1.5.2安装VirtualBox 1.5.3安装虚拟机系统Ubuntu 1.5.4Linux命令 1.5.5主机与虚拟机交互 第2章Scala基础 2.1Scala概述 2.1.1Scala简介 2.1.2Scala安装 2.1.3Scala使用基础 2.2Scala初步 2.2.1初识Scala REPL 2.2.2变量定义 2.2.3Scala REPL中的多行输入 2.2.4函数定义 2.3Scala基本数据类型与操作 2.3.1基本数据类型 2.3.2操作符 2.3.3运算的优先级与结合性 2.3.4富操作(Rich Operations) 2.4控制结构 2.4.1if表达式 2.4.2while循环 2.4.3for表达式 2.4.4match表达式 2.4.5try表达式(异常处理) 2.5Scala常用数据结构 2.5.1序列数 2.5.2数组 2.5.3列表 2.5.4元组 2.5.5集合 2.5.6映射 2.6函数式编程 2.7Scala类与对象 2.7.1类、字段及方法 2.7.2单例对象 2.7.3样例类 2.8Scala应用程序 第3章Spark开发基础 3.1Spark概述 3.1.1Spark简介 3.1.2Spark架构设计 3.2Spark安装及部署 3.2.1安装Spark 3.2.2Spark部署方式 3.3配置Spark访问HDFS数据源 3.3.1Hadoop部署 3.3.2配置Spark访问HDFS 3.4使用Spark shell 3.4.1启动Spark shell 3.4.2使用Spark shell 3.4.3退出Scala Spark shell 3.4.4Spark shell常用选项 3.5Spark开发环境 3.5.1SBT 3.5.2IntelliJ IDEA 第4章Spark RDD编程 4.1RDD概述 4.2RDD编程基础 4.2.1环境初始化 4.2.2交互式编程 4.2.3一个简单的应用程序 4.3RDD常用操作 4.3.1转换 4.3.2动作 4.3.3函数参数传递 4.4键/值对RDD 4.5共享变量 4.5.1广播变量 4.5.2累加器 4.6文件数据读写 4.6.1从文件创建RDD 4.6.2保存RDD 4.7RDD程序例子 4.7.1词频统计WordCount 4.7.2文件合并 4.7.3求Top值 第5章Spark SQL编程 5.1Spark SQL基础 5.1.1概述 5.1.2Spark SQL架构 5.1.3一个简单的Spark SQL开发例子 5.2数据帧DataFrame 5.2.1DataFrame结构 5.2.2创建DataFrame 5.2.3DataFrame常用操作 5.2.4保存DataFrame 5.3数据集Dataset 5.3.1创建Dataset 5.3.2Dataset常用方法 5.4数据源 5.4.1通用load/save函数 5.4.2文件数据源 5.4.3Hive数据源 5.4.4SQL数据源 5.5安装关系数据库 5.5.1PostgreSQL 5.5.2MySQL Server 第6章Streaming编程 6.1流计算概述 6.1.1流计算背景 6.1.2流计算概念 6.1.3流计算框架 6.2Spark Streaming 6.2.1概述 6.2.2Spark Streaming简单示例 6.2.3Spark Streaming开发基础 6.2.4DStream常用操作 6.3Structured Streaming 6.3.1概述 6.3.2Structured Streaming简单示例 6.3.3编程模型 6.3.4DataFrame和Dataset数据流API 6.4Structured Streaming编程实践 6.4.1Kafka数据源准备 6.4.2Structured Streaming Kafka依赖包 6.4.3在Spark shell中连接Kafka 第7章Spark MLlib实践 7.1机器学习 7.1.1机器学习概述 7.1.2机器学习常用术语 7.1.3机器学习的应用 7.1.4机器学习的方法 7.1.5大数据与机器学习 7.2Spark MLlib 7.2.1Spark机器学习概述 7.2.2MLlib概述 7.2.3MLlib机器学习管道 7.3MLlib初级实践 7.3.1数据准备 7.3.2创建训练集与测试集 7.3.3使用转换器准备特征 7.3.4使用估计器构建模型 7.3.5创建管道 7.3.6评估模型 7.4超参数调优 7.4.1基于树的模型 7.4.2k折交叉验证 7.4.3管道优化 参考文献