Spark大数据技术与应用(大数据人才培养规划教材)

第1章 Spark概述 任务1.1 认识Spark 1.1.1 Spark的发展 1.1.2 Spark的特点 1.1.3 Spark生态圈 1.1.4 Spark的应用场景 任务1.2 搭建Spark环境 1.2.1 搭建单机版环境 1.2.2 搭建单机伪分布式环境 1.2.3 搭建完全分布式环境 任务1.3 了解Spark运行架构与原理 1.3.1 Spark集群架构 1.3.2 Spark作业运行流程 1.3.3 Spark核心数据集RDD 1.3.4 Spark核心原理 小结 第2章 Scala基础 任务2.1 Scala的简介与安装 2.1.1 Scala简介 2.1.2 Scala特性 2.1.3 Scala的环境设置及安装 2.1.4 运行Scala 任务2.2 定义函数识别号码类型 2.2.1 数据类型 2.2.2 常量和变量 2.2.3 表达式 2.2.4 数组 2.2.5 函数 2.2.6 任务实现 任务2.3 统计广州号码段数量 2.3.1 if判断 2.3.2 循环 2.3.3 任务实现 任务2.4 根据归属地对手机号码段分组 2.4.1 List 2.4.2 Set 2.4.3 Map 2.4.4 元组 2.4.5 函数组合器 2.4.6 任务实现 任务2.5 编写手机号码归属地信息查询程序 2.5.1 Scala类 2.5.2 Scala object 2.5.3 Scala模式匹配 2.5.4 Scala读取文件 2.5.5 任务实现 小结 实训 实训1 编写函数过滤文本中的回文单词 实训2 使用Scala编程输出杨辉三角