Flink技术内幕 架构设计与实现原理

作者背景资深：4位作者均是Flink的早期实践者和布道者，不仅参与了国内早期的Flink项目，而且参与Flink源码的维护和改造。大厂经验总结：作者在阿里巴巴、蚂蚁集团、滴滴等企业参与和主导了多个Flink项目从0到1的过程，本书是他们在这些企业大规模应用Flink的经验总结。源码全面剖析：本书从源码角度深入剖析了Flink各功能模块的架构与实现，能指导读者更好地进行性能调优、可用性保障、效能优化、二次开发

这是一部从源代码角度出发，通过分析Flink的各个功能模块的实现来剖析Flink的架构设计和实现原理的著作。它将能指导读者更好地对Flink进行性能调优、可用性保障、效能优化和二次开发。四位作者都是非常资深的Flink专家，部分作者是Flink源代码的维护者和改造者，本书总结了他们在阿里巴巴、蚂蚁集团、滴滴等企业的大规模Flink实践经验。全书共11章，各章主要内容如下。第1章主要介绍Flink源代码阅读环境准备以及Flink的设计理念和基本架构，包括Flink源代码的导入流程和调试方式，Flink与HadoopMapReduce、Spark的设计差异，以及Flink的分层架构和运行时架构，让读者心里对Flink有个清晰的脉络。第2～8章展开介绍Flink内部的各个模块和功能，包括编程模型与API、运行时组件与通信、状态管理与容错、任务提交与执行、Flink网络栈、FlinkConnector、部署模式等。这几章从源代码切入，从原理上进行分析，力求让读者深入理解Flink的原理，而不只是跟着本书读一遍Flink源代码。原理和思想是不局限于某一个框架和技术的，了解了Flink的原理和思想，可以将其扩展到其他框架和技术上。第9～10章主要讲解FlinkTable、SQL与FlinkCEP。随着大数据的发展，编程方式逐渐从原先基于Map－Reduce的任务模式向SQL化演进，在实时计算领域更是如此，SQL意味着标准和效率。这两章重点介绍了StreamTableEnvironment的实现过程、SQL的解析过程、TableConnector以及FlinkCEP的内部实现原理。第11章主要介绍Flink监控指标、常用系统指标和监控体系的建设，以及常用的定位手段。

前言
第1章 阅读Flink源代码前的准备
1.1 环境准备
1.2 获取、编译和调试Flink的源代码
1.2.1 获取与导入Flink源代码
1.2.2 编译与调试Flink源代码
1.3 Flink源代码的目录结构
1.4 Flink设计理念与基本架构
1.4.1 Flink与主流计算引擎对比
1.4.2 Flink基本架构
1.5 本章小结
第2章 编程模型与API
2.1 DataStream
2.2 算子
2.3 窗口
2.3.1 窗口的基本概念
2.3.2 窗口的执行流程
2.3.3 窗口分配器
2.3.4 触发器
2.3.5 窗口函数
2.4 本章小结
第3章 运行时组件与通信
3.1 运行时组件
3.1.1 REST
3.1.2 Dispatcher
3.1.3 ResourceManager
3.1.4 JobMaster
3.1.5 TaskExecutor
3.2 组件间通信
3.2.1 Akka与Actor模型
3.2.2 组件间通信实现
3.3 运行时组件的高可用
3.3.1 Master节点上组件的高可用
3.3.2 现有运行时组件高可用存在的问题及其解决方案
3.4 本章小结
第4章 状态管理与容错
4.1 状态
4.1.1 状态的原理与实现
4.1.2 状态生存时间的原理与实现
4.2 检查点
4.2.1 检查点机制原理
4.2.2 检查点执行过程
4.2.3 任务容错
4.3 状态后端
4.4 本章小结
第5章 任务提交与执行
5.1 任务提交整体流程
5.2 DAG转换
5.2.1 DAG的4层转换
5.2.2 WordCount转换过程
5.3 Slot分配
5.3.1 相关概念和实现类
5.3.2 Slot申请流程
5.3.3 任务部署
5.4 任务执行机制
5.4.1 任务执行过程
5.4.2 MailBox线程模型
5.5 本章小结
第6章 Flink网络栈
6.1 内存管理
6.2 网络传输
6.2.1 什么是Flink网络栈
6.2.2 非流控模型的网络传输流程
6.2.3 流控模型的网络传输流程
6.3 流批一体的shuffle架构
6.3.1 生命周期管理
6.3.2 数据shuffle
6.4 本章小结
第7章 Flink Connector的设计与实现
7.1 Kafka Connector实现原理
7.1.1 Kafka Source Connector实现
7.1.2 Kafka Sink Connector实现
7.2 HBase Table Connector实现原理
7.2.1 HBase Source Connector和Sink Connector的工厂实现
7.2.2 HBase维表实现
7.3 本章小结
第8章 部署模式
8.1 Local部署
8.2 Standalone部署
8.3 Flink on YARN模式
8.3.1 YARN基本架构
8.3.2 Flink on YARN模式介绍
8.3.3 Flink on YARN启动过程
8.4 Flinkon Kubernetes模式
8.5 本章小结
第9章 Flink Table与SQL
9.1 StreamTableEnvironment类介绍
9.1.1 StreamExecutionEnvironment类
9.1.2 EnvironmentSettings类
9.1.3 TableConfig类
9.1.4 StreamTableEnvironment的创建过程
9.2 SQL解析过程
9.2.1 SQL解析
9.2.2 SQL优化
9.2.3 RelNode转换
9.3 Table Connector
9.3.1 TableSource
9.3.2 TableSink
9.3.3 SPI机制在Table Connector中的应用
9.4 UDF与内置算子
9.4.1 UDF
9.4.2 内置算子
9.5 本章小结
第10章 Flink CEP原理解析
10.1 CEP的基本概念
10.1.1 什么是Flink CEP
10.1.2 Pattern
10.1.3 量词
10.1.4 条件
10.1.5 连接
10.1.6 Flink CEP作业编写举例
10.2 CEP内部实现原理
10.2.1 NFA简介
10.2.2 匹配过程
10.2.3 CEP状态存储
10.2.4 CEP和SQL结合
10.3 本章小结
第11章 Flink监控
11.1 监控指标
11.1.1 指标类型
11.1.2 系统指标及自定义指标
11.1.3 指标的使用
11.2 常用系统指标
11.3 监控体系建设
11.3.1 指标监控及展示
11.3.2 日志分析处理
11.3.3 定位手段
11.4 本章小结