Spark Streaming

《Spark Streaming：实时流处理入门与精通》介绍如何使用Spark Streaming来构建流数据实时应用，具有以下特点：
1.《Spark Streaming：实时流处理入门与精通》侧重于讲解Spark Streaming的实际开发，包括Spark Streaming的安装和环境配置，用Spark的客户端API开发分布式日志文件系统，流数据转换，数据缓存和数据持久化，以及Spark Streaming的产品部署模式。
2.《Spark Streaming：实时流处理入门与精通》同时注重介绍Spark Streaming在Spark架构中的定位，包括Spark Streaming的体系架构和组件概要，还有Spark Streaming与Spark的其他扩展组件MLlib、GraphX和Spark SQL的整合问题。

本书主要对Spark和Spark的安装、配置、主要架构和组件进行介绍，并介绍如何利用SparkStreaming进行实时数据的处理，讨论利用Spark Streaming的多种API和操作进行近实时的分布式日志流的处理。本书要求读者对Scala有很好的认识和理解，以便能够利用核心组件和应用进行高效编程。

Sumit Gupta从事设计、管理并提供各种业务领域（如酒店业务，医疗保健，风险管理，保险业务等）的企业解决方案将近9年以上，是业内经验丰富的专家、技术创新者和传播者。他热爱技术，在软件行业拥有14年的实践经验。在过去4～5年中一直使用大数据和云计算技术来解决复杂的业务问题。现任北方工业大学教授、北方工业大学云计算研究中心主任。现兼任中国计算机学会服务计算专业委员会副主任、中国电子学会云计算专家委员会委员、计算机学报编委。曾就职于德国国家计算机研究中心、德国弗郎霍夫软件技术研究所和美国大规模分布系统实验室等机构。2000年被聘为中科院计算技术研究所研究员，入选中科院海外杰出人才计划（中科院百人计划，2001期）。曾任中科院研究生院教授、博士生导师、中科院计算技术研究所网格与服务计算研究中心主任、软件集成与服务计算研究分中心主任、中德软件集成技术联合实验室主任。在数据库、工作流、分布对象中间件、移动计算、网格计算等多个领域主持完成了863重点项目、国家基金重点项目、973子项等30项研究课题，发表论文140余篇，出版专著4部。申报或合作申报发明专利和软件登记50项，其中已向工业界转化5项。是目前靠前关于云计算方面研究的很好科学家。

第1章 Spark和Spark Streaming 的安装与配置 1
安装Spark 2
硬件需求 2
软件需求 4
安装Spark扩展——Spark Streaming 7
配置和运行Spark集群 8
你的第一个Spark程序 11
用Scala编码Spark作业 12
用Java开发Spark作业 15
管理员／开发者工具 18
集群管理 18
提交Spark作业 19
故障定位 20
配置端口号 20
类路径问题——类没有发现 20
其他常见异常 20
总结 21
第2章 Spark和Spark Streaming 的体系结构与组件 23
批处理和实时数据处理的比较 24
批处理 24
实时数据处理 26
Spark的体系结构 28
Spark对比Hadoop 28
Spark的层次化结构 29
Spark Streaming 的体系结构 31
Spark Streaming 是什么 32
Spark Streaming 的上层体系结构 32
你的第一个Spark Streaming 程序 34
用Scala编码Spark Streaming 作业 34
用Java编码Spark Streaming 作业 37
客户端程序 39
打包和部署一个Spark Streaming 作业 41
总结 43
第3章 实时处理分布式日志文件 45
Spark的封装结构和客户端API 46
Spark内核 48
Spark库及扩展 54
弹性分布式数据集及离散流 58
弹性分布式数据集 59
离散流 63
从分布的、多样的数据源中加载数据 65
Flume框架 67
Flume的安装和配置 69
配置Spark以接收Flume事件 73
封装和部署Spark Streaming 作业 77
分布式日志文件处理的总体架构 77
总结 78
第4章 在流数据中应用Transformation 79
理解并应用Transformation功能 80
模拟日志流 80
功能操作 82
转换操作 89
窗口操作 91
性能调优 94
分块和并行化 94
序列化 94
Spark内存调优 95
总结 97
第5章 日志分析数据的持久化 99
Spark Streaming 的输出操作 100
集成Cassandra 110
安装和配置Apache Cassandra 110
配置Spark 112
通过编写Spark作业将流式网页日志存入Cassandra 113
总结 120
第6章 与Spark高级库集成 121
实时查询流数据 122
了解SparkSQL 122
集成SparkSQL与流数据 129
图的分析——Spark GraphX 135
GraphX API介绍 137
集成Spark Streaming 140
总结 147
第7章 产品部署 149
Spark部署模式 150
部署在Apache Mesos上 151
部署在Hadoop或者YARN上 156
高可用性和容错性 160
单机模式下的高可用性 160
Mesos或者YARN下的高可用性 162
容错性 162
Streaming作业的监听 166
应用程序UI界面／作业UI界面 166
与其他监控工具的集成 169
总结 170