Apache Pulsar原理解析与应用实践

腾讯软件工程师、Apache Pulsar社区贡献者亲自执笔。本书基于Apache Pulsar 2.10，从实践、原理两个层面对Pulsar的使用、组件、架构、特性和生态进行深入解读，为了帮助读者快速上手，其中不仅包含大量案例，还有很多直接指导读者上手的经验和技巧。因为其实用性强，所以得到了很多业界专家的推荐。

这是一本从实践角度解读Apache Pulsar相关组件、工作原理和落地实践的专业指导书。本书主要面向的是初中级读者，从基础概念讲起，逐渐扩展到基本操作、核心技术、常用工具及典型应用等。

前言
基础篇
第1章 Pulsar概述 2
1.1 Pulsar是什么 2
1.2 Pulsar的优势 3
1.2.1 Pulsar不只是消息队列 4
1.2.2 存储与计算分离 4
1.2.3 云原生架构 5
1.2.4 Pulsar的存储特性 6
1.2.5 消息传输协议 8
1.2.6 消费方式 8
1.2.7 丰富的功能与生态 9
1.3 消息队列对比 9
1.3.1 消息队列简介 10
1.3.2 性能与可靠性 11
1.3.3 功能特性对比 14
1.4 快速体验 17
1.4.1 下载安装 17
1.4.2 单机服务启动 17
1.4.3 生产与消费 18
第2章 Pulsar的基本概念和架构详解 20
2.1 Pulsar的基本概念 20
2.1.1 多租户与命名空间 20
2.1.2 主题 21
2.1.3 生产者 22
2.1.4 消费者与订阅 24
2.1.5 消息的保留与过期 27
2.2 Pulsar的逻辑架构 28
2.2.1 主题的配置管理 29
2.2.2 主题的数据流转 30
2.2.3 主题的数据存储 31
2.3 Pulsar物理架构 32
2.3.1 物理架构概述 32
2.3.2 核心组件与服务 35
第3章 Pulsar安装与部署 39
3.1 依赖环境 39
3.1.1 安装Java 39
3.1.2 Pulsar安装包 40
3.2 分布式部署 42
3.2.1 资源分配规划 42
3.2.2 集群搭建实战 44
3.3 Docker部署 47
3.3.1 Docker单机部署 47
3.3.2 Docker分布式部署 48
3.4 Kubernetes部署 48
3.4.1 minikube环境安装 48
3.4.2 HelmChart安装 49
3.4.3 在Kubernetes中使用Pulsar 51
3.5 源码的结构与编译 52
3.5.1 源码结构 52
3.5.2 源码编译 52
第4章 Pulsar的基本操作 54
4.1 生产者开发 54
4.1.1 生产者概览 54
4.1.2 构建客户端对象 56
4.1.3 构建生产者 58
4.1.4 数据发送路由规则 60
4.1.5 分批发送 63
4.1.6 分块发送 64
4.1.7 生产者 64
4.2 消费者开发 65
4.2.1 构建消费者 65
4.2.2 数据确认 68
4.2.3 消费者 72
4.2.4 消费者监听器 72
4.3 Reader开发 73
4.4 模式管理 74
4.4.1 模式类型 75
4.4.2 自动模式 78
4.4.3 模式管理 79
原理篇
第5章 Pulsar核心组件原理 84
5.1 Broker原理 84
5.1.1 通信协议层 84
5.1.2 主题查找服务 89
5.1.3 租户与命名空间管理 90
5.1.4 负载管理 92
5.2 BookKeeper原理 94
5.2.1 BookKeeper简介 94
5.2.2 BookKeeper的使用 100
5.3 ManagedLedger组件 100
5.3.1 ManagedLedger简介 101
5.3.2 消息积压的配额管理 102
5.3.3 消息的保留与清理 103
5.3.4 消息的写入 104
5.3.5 消息的缓存与读取 104
5.4 主题管理 105
5.4.1 Pulsar主题管理架构 106
5.4.2 生产者原理 108
5.4.3 订阅与消费者原理 110
5.4.4 消息生存时间与持久化控制 114
第6章 Pulsar高级特性 115
6.1 Pulsar事务 115
6.1.1 消息队列事务隔离级别 116
6.1.2 Pulsar事务简介 117
6.1.3 Pulsar事务的使用方法 118
6.1.4 Pulsar事务实现原理及关键流程 119
6.2 消息队列协议层 122
6.2.1 协议处理器 122
6.2.2 Pulsar上的Kafka简介 125
6.2.3 Pulsar上的Kafka使用 126
6.2.4 Pulsar上的Kafka工作原理 128
6.3 分层存储 130
6.3.1 分层存储的设计 130
6.3.2 分层存储的使用 131
6.3.3 分层存储的原理 133
6.4 消息延迟传递 133
6.5 主题压缩 134
6.5.1 主题压缩应用 135
6.5.2 主题压缩原理 135
第7章 PulsarFunction与PulsarI/O 137
7.1 PulsarFunction简介 137
7.1.1 PulsarFunction编程模型 137
7.1.2 PulsarFunction逻辑结构与应用场景 140
7.2 PulsarFunction应用实践 141
7.2.1 PulsarFunction的部署与使用 141
7.2.2 自定义PulsarFunction开发 146
7.2.3 PulsarFunction语义支持 148
7.3 PulsarFunction原理 150
7.3.1 PulsarFunction运行流程 150
7.3.2 FunctionWorker组件工作原理 152
7.3.3 Pulsar运行时 153
7.4 PulsarI/O 154
7.4.1 PulsarI/O概述 154
7.4.2 使用内置的Pulsar连接器 155
7.4.3 开发自定义连接器 156
7.4.4 实例层原理 160
应用篇
第8章 PulsarSQL架构、配置与实现原理 164
8.1 Trino简介 164
8.1.1 Trino架构简介 165
8.1.2 存储与计算分离 168
8.2 PulsarSQL配置 169
8.2.1 单机体验PulsarSQL 169
8.2.2 数据查询 170
8.3 Pulsar连接器工作原理 171
8.4 Pulsar联邦查询 172
8.4.1 准备数据源 173
8.4.2 联邦查询 175
第9章 管理你的Pulsar 176
9.1 Pulsar安全配置 176
9.1.1 数据加密 176
9.1.2 授权与认证 180
9.1.3 自定义权限插件 186
9.2 Pulsar监控配置 189
9.2.1 Pulsar监控概述 189
9.2.2 Prometheus部署 190
9.2.3 Grafana仪表盘配置 191
9.3 Pulsar管理工具 192
9.3.1 pulsar-admin工具 192
9.3.2 PulsarManager工具 196
9.3.3 性能压测工具 197
9.3.4 ManagedLedger管理 199
9.4 集群管理 201
9.4.1 配置管理 201
9.4.2 Pulsar资源配置 203
第10章 Pulsar与Flink生态 206
10.1 Flink简介 207
10.1.1 Flink的概念 207
10.1.2 Flink基本组件 212
10.2 FlinkPulsar源连接器 214
10.2.1 源连接器的使用 214
10.2.2 源连接器原理 218
10.3 FlinkPulsar输出连接器 220
10.3.1 统一接收器API 221
10.3.2 FlinkPulsarSinkAPI的使用 221
10.3.3 PulsarSink原理 223
第11章 Pulsar应用实践 224
11.1 Pulsar应用模式 224
11.1.1 Pulsar数据总线概述 224
11.1.2 Pulsar数据集成 226
11.2 Pulsar与Spark集成 230
11.3 Pulsar与Kafka集成 231
11.3.1 Kafka客户端适配器 231
11.3.2 PulsarI/OKafka 233
11.3.3 PulsarConnector适配器 234
11.4 PulsarCDC 236
11.4.1 PulsarCanalCDC 236
11.4.2 PulsarDebeziumCDC 238
11.5 可靠性优先场景 239
11.5.1 幂等性、消息确认与事务 239
11.5.2 可靠性与一致性 240