基于Apache Flink的流处理

Apache Flink项目的资深贡献者Fabian Hueske和Vasiliki Kalavri展示了如何使用Flink DataStream API实现可伸缩的流式应用，以及怎样在业务环境中持续运行和维护这些应用。流处理的理想应用场景有很多，包括低延迟ETL、流式分析、实时仪表盘以及欺诈检测、异常检测和报警。你可以在任意类型的持续数据（包括用户交互、金融交易和物联网等数据）生成后，立即对它们进行处理。了解有关分布式状态化流处理的概念和挑战。探索Flink的系统架构，包括事件时间处理模式和容错模型。理解DataStream API的基础知识和构成要素，包括基于时间和有状态的算子。以准确一次的一致性读写外部系统。部署和配置Flink集群。对持续运行的流式应用进行运维。

Fabian Hueske是Apache Flink项目的PMC成员，他从Flink项目创始之初就开始参与贡献。Fabian是data Artisans（现在的Ververica）公司的创始人之一，拥有柏林工业大学的计算机科学博士学位。Vasiliki Kalavri是苏黎世联邦理工学院系统组的博士后研究员。她同样也是Apache Flink项目的PMC成员。作为Flink早期贡献者，Vasiliki参与了图计算库Gelly以及初期版本的Table API和流式SQL的建设工作。崔星灿，加拿大约克大学博士后，分布式流处理技术和开源爱好者，Apache Flink Committer。

前言1
第1章状态化流处理概述7
传统数据处理架构8
事务型处理8
分析型处理9
状态化流处理11
事件驱动型应用13
数据管道14
流式分析15
开源流处理的演变16
历史回顾17
Flink快览18
运行少有Flink应用20
小结23
第2章流处理基础25
Dataflow编程概述25
Dataflow图25
数据并行和任务并行26
数据交换策略27
并行流处理28
延迟和吞吐28
数据流上的操作31
时间语义36
流处理场景下一分钟的含义37
处理时间38
事件时间39
水位线40
处理时间与事件时间41
状态和一致性模型41
任务故障43
结果保障44
小结46
第3章ApacheFlink架构47
系统架构47
搭建Flink所需组件48
应用部署50
任务执行51
高可用性设置52
Flink中的数据传输54
基于信用值的流量控制56
任务链接57
事件时间处理58
时间戳59
水位线59
水位线传播和事件时间61
时间戳分配和水位线生成63
状态管理64
算子状态65
键值分区状态66
状态后端68
有状态算子的扩缩容68
检查点、保存点及状态恢复71
一致性检查点71
从一致性检查点中恢复72
Flink检查点算法74
检查点对性能的影响79
保存点79
小结82
第4章设置ApacheFlink开发环境83
所需软件83
在IDE中运行和调试Flink程序84
在IDE中导入书中示例84
在IDE中运行Flink程序87
在IDE中调试Flink程序88
创建FlinkMaven项目89
小结90
第5章DataStreamAPI（17版本）91
Hello,Flink!91
设置执行环境93
读取输入流94
应用转换94
输出结果95
执行96
转换操作96
基本转换97
基于KeyedStream的转换100
多流转换104
分发转换108
设置并行度111
类型112
支持的数据类型113
为数据类型创建类型信息116
显式提供类型信息117
定义键值和引用字段118
字段位置118
字段表达式119
键值选择器120
实现函数121
函数类121
Lambda函数122
富函数123
导入外部和Flink依赖124
小结125
第6章基于时间和窗口的算子127
配置时间特性127
分配时间戳和生成水位线129
水位线、延迟及完整性问题133
处理函数134
时间服务和计时器136
向副输出发送数据138
CoProcessFunction140
窗口算子141
定义窗口算子142
内置窗口分配器143
在窗口上应用函数148
自定义窗口算子155
基于时间的双流Join167
基于间隔的Join167
基于窗口的Join168
处理迟到数据170
丢弃迟到事件170
重定向迟到事件171
基于迟到事件更新结果172
小结174
第7章有状态算子和应用175
实现有状态函数176
在RuntimeContext中声明键值分区状态176
通过ListCheckpointed接口实现算子列表状态180
使用CheckpointedFunction接口187
接收检查点完成通知189
为有状态的应用开启故障恢复190
确保有状态应用的可维护性190
指定算子专享标识191
为使用键值分区状态的算子定义优选并行度192
有状态应用的性能及鲁棒性192
选择状态后端193
选择状态原语194
防止状态泄露195
更新有状态应用198
保持现有状态更新应用199
从应用中删除状态200
修改算子的状态200
可查询式状态202
可查询式状态服务的架构及启用方式203
对外暴露可查询式状态204
从外部系统查询状态205
小结207
第8章读写外部系统209
应用的一致性保障210
幂等性写211
事务性写211
内置连接器213
ApacheKafka数据源连接器214
ApacheKafka数据汇连接器218
文件系统数据源连接器222
文件系统数据汇连接器224
ApacheCassandra数据汇连接器228
实现自定义数据源函数232
可重置的数据源函数233
数据源函数、时间戳及水位线235
实现自定义数据汇函数236
幂等性数据汇连接器238
事务性数据汇连接器239
异步访问外部系统248
小结251
第9章搭建Flink运行流式应用253
部署模式253
独立集群254
Docker256
ApacheHadoopYARN258
Kubernetes261
高可用性设置266
独立集群的HA设置267
YARN上的HA设置268
Kubernetes的HA设置270
集成Hadoop组件270
文件系统配置272
系统配置274
Java和类加载275
CPU275
内存和网络缓冲276
磁盘存储278
检查点和状态后端279
安全性280
小结281
第10章Flink和流式应用运维283
运行并管理流式应用283
保存点284
通过命令行客户端管理应用285
通过RESTAPI管理应用292
在容器中打包并部署应用298
控制任务调度302
控制任务链接302
定义处理槽共享组303
调整检查点及恢复305
配置检查点306
配置状态后端309
配置故障恢复311
监控Flink集群和应用313
FlinkWebUI313
指标系统316
延迟监控322
配置日志行为323
小结324
第11章还有什么？325
Flink生态的其他组成部分325
用于批处理的DataSetAPI325
用于关系型分析的TableAPI及SQL326
用于复杂事件处理和模式匹配的FlinkCEP326
用于图计算的Gelly327
欢迎加入社区327