Spark大数据实时分析实战

全书分为六个章节，通过真实大数据实时分析项目导入，引导读者完成大数据实时分析平台Spark的搭建，通过对基于Hadoop生态圈中Yarn资源调度框架，搭建Spark日志管理系统，搭建Kafka分布式消息系统并在后续工作中实现使用SparkStreaming实时读取Kafka中的数据进行实时处理。结构合理，案例结合企业典型工作任务，与大数据专业课程挂钩，增强了读者动手能力，降低了读者的实操难度。 理论联系实际，采用项目驱动方式、利用活页教材模式逐步进行教学设计，结合大赛，职业技能证书展开编写工作，知识点由浅入深，覆盖面广，对大数据技术与应用专业教学和学习有较大帮助。

付雯，女，中共党员，教授，武汉大学硕士，北京大学访问学者。全国高校大数据教育“实践教学”年度人物获得者。“双师双能型”素质的专业骨干教师，学科专业群带头人。有良好的职业道德，为人师表，学风端正。先后承担了数十门专业课程的教学及教研工作。公开发表论文15篇，出版学术专著1部；主编教材2部，参编教材5部，实用新型专利7项；软件著作权6项；主研（负责）大数据技术与应用专业国家教学资源库项目建设，主研市级骨干专业-移动应用开发专业建设1个（已获批国家级骨干专业）；主研软件技术专业、移动应用开发专业国家教学资源库子项目3个。主持参与为企业开发“电磁环境及气象参数自动采集系统”项目、 “巫溪县‘互联网+教育’综合服务平台策划服务”等项目，产值达700万。受聘于多省市学术团体专家组成员。指导学生参加全国职业院校技能大赛“软件测试”赛项获一等奖，“大数据技术与应用”赛项获二等奖。同时获28项省部级行业赛奖项。

项目一 初识Spark技术 任务1.1 数据处理系统 1.1.1 数据存储技术 1.1.2 数据分析技术 1.1.3 批数据和实时数据 1.1.4 数据价值挖掘 任务1.2 实时数据处理 1.2.1 实时数据的价值 1.2.2 实时数据处理技术 1.2.3 Spark实时数据处理 项目二 Spark集群的构建与安装 任务2.1 Spark集群搭建 2.1.1 平台选择 2.1.2 软件选择 2.1.3 Spark集群构建流程 任务2.2 Spark集群规划 2.2.1 Spark集群节点划分 2.2.2 软件要求 2.2.3 网络拓扑结构规划 任务2.3 Spark安装准备 2.3.1 JDK安装 2.3.2 节点间的配置 2.3.3 Spark安装包下载 任务2.4 Spark集群搭建 2.4.1 配置Master节点 2.4.2 配置Worker节点 2.4.3 分发安装包 2.4.4 启动集群 任务2.5 验证Spark 2.5.1 验证Spark进程 2.5.2 验证WEBUI界面 2.5.3 验证集群功能 任务2.6 Spark客户端搭建 2.6.1 客户端介绍 2.6.2 客户端搭建及使用 项目三 Spark基于Yarn搭建 任务3.1 基于Yarn构建介绍 3.1.1 基于Yarn搭建环境配置 3.1.2 Hadoop集群 3.1.3 启动Hadoop集群 3.1.4 验证Hadoop集群节点 任务3.2 基于Yam搭建 3.2.1 节点划分配置 3.2.2 配置Spark on Yarn 3.2.3 验证Spark on Yarn 项目四 日志服务器搭建 任务4.1 日志服务器配置 4.1.1 HDFS配置 4.1.2 Spark配置 4.1.3 启动日志服务器 4.1.4 查看日志 任务4.2 验证日志服务器 4.2.1 Spark-Shell介绍 4.2.2 查看运行日志 4.2.3 启动日志服务器 4.2.4 查看日志 项目五 Kafka集群的构建与安装 任务5.1 集群搭建 5.1.1 运行平台支持 5.1.2 软件环境 5.1.3 集群构建流程 任务5.2 集群规划 5.2.1 集群节点划分 5.2.2 软件选择 5.2.3 网络结构规划 任务5.3 安装准备 5.3.1 节点免密 5.3.2 安装ZooKeeper协调系统 任务5.4 Kafka集群搭建 5.4.1 节点配置 5.4.2 集群脚本配置 5.4.3 分发安装包 5.4.4 集群启动 项目六 Kafka集群测试 任务6.1 分布式消息系统 6.1.1 Kafka介绍 6.1.2 Kafka架构 6.1.3 Kafka的特点 6.1.4 Kafka应用场景 任务6.2 测试Kafka 6.2.1 查看集群中的Topic 6.2.2 创建Topic 6.2.3 向Topic生产消息 6.2.4 从Topic消费消息 6.2.5 offset查看 6.2.6 删除Topic信息 任务6.3 测试Kafka Leader 6.3.1 Leader均衡机制 6.3.2 测试Leader均衡机制