Apache Kafka2.0入门与实践

 

本书详细阐述了与Apache Kafka 2.0相关的基本解决方案，主要包括配置Kafka、消息验证、消息增强、序列化、模式注册表、Kafka Streams、KSQL、Kafka Connect等内容。此外，本书还提供了相应的示例、代码，以帮助读者进一步理解相关方案的实现过程。
本书既可作为高等院校计算机及相关专业的教材和教学参考书，也可作为相关开发人员的自学教材和参考手册。

第1章 配置Kafka 1
1.1 Kafka简介 1
1.2 安装Kafka 2
1.2.1 在Linux中安装Kafka 4
1.2.2 在macOS中安装Kafka 5
1.2.3 安装Confluent Platform 7
1.3 运行Kafka 8
1.4 运行Confluent Platform 8
1.5 运行Kafka代理 10
1.6 运行Kafka topic 13
1.7 命令行消息生产者 16
1.8 命令行消息消费者 17
1.9 使用kafkacat 18
1.10 本章小结 19
第2章 消息验证 20
2.1 企业服务总线 20
2.2 事件建模 21
2.3 配置项目 23
2.4 从Kafka中读取数据 26
2.5 向Kafka中写入数据 29
2.6 运行处理引擎 31
2.7 验证器的Java编码 33
2.8 运行验证 35
2.9 本章小结 38
第3章 消息增强 39
3.1 获取地理位置 40
3.2 增强消息 42
3.3 析取货币价格 44
3.4 利用货币价格充实消息 46
3.5 运行引擎 48
3.6 析取天气数据 51
3.7 本章小结 52
第4章 序列化 53
4.1 Kafka物联网公司Kioto 53
4.2 项目配置 54
4.3 Constants类 56
4.4 HealthCheck消息 58
4.5 Java PlainProducer类 59
4.6 运行PlainProducer 62
4.7 Java PlainConsumer类 63
4.8 Java PlainProcessor对象 64
4.9 运行PlainProcessor 67
4.10 自定义序列化器 68
4.11 Java CustomProducer类 69
4.12 运行CustomProducer 70
4.13 自定义反序列化器 71
4.14 Java CustomConsumer类 72
4.15 Java CustomProcessor类 73
4.16 运行CustomProcessor 75
4.17 本章小结 76
第5章 模式注册表 77
5.1 Avro简介 77
5.2 定义模式 78
5.3 启动Schema Registry 79
5.4 使用Schema Registry 80
5.4.1 在值主题下注册一个新的模式版本 80
5.4.2 在键主题下注册一个新的模式版本 81
5.4.3 将现有的模式注册至新的主题中 82
5.4.4 列出全部主题 82
5.4.5 通过全局唯一ID查询模式 82
5.4.6 列出注册于healthchecks-value主题下的全部模式版本 83
5.4.7 查询注册于healthchecks-value主题下的模式版本1 83
5.4.8 删除注册于healthchecks-value主题下的模式版本1 83
5.4.9 删除最近注册于healthchecks-value主题下的模式 83
5.4.10 删除注册于healthchecks-value主题下的全部模式版本 84
5.4.11 检测模式是否已注册于healthchecks-key主题下 84
5.4.12 模式兼容性测试 84
5.4.13 获取顶级兼容性配置 84
5.4.14 全局更新兼容性需求条件 85
5.4.15 更新healthchecks-value主题下的兼容性需求条件 85
5.5 Java AvroProducer 85
5.6 运行AvroProducer 89
5.7 Java AvroConsumer类 91
5.8 Java AvroProcessor类 92
5.9 运行AvroProcessor 94
5.10 本章小结 95
第6章 Kafka Streams 96
6.1 Kafka Streams简介 96
6.2 项目配置 97
6.3 Java PlainStreamsProcessor类 98
6.4 运行PlainStreamsProcessor 101
6.5 Kafka Streams扩展 102
6.6 Java CustomStreamsProcessor类 103
6.7 运行CustomStreamsProcessor 104
6.8 Java AvroStreamsProcessor类 105
6.9 运行AvroStreamsProcessor 107
6.10 延迟事件处理 108
6.11 基本场景 109
6.12 延迟事件的生成 110
6.13 运行EventProducer 112
6.14 Kafka Streams处理程序 113
6.15 运行流处理程序 115
6.16 流处理程序分析 116
6.17 本章小结 117
第7章 KSQL 118
7.1 KSQL简介 118
7.2 运行KSQL 119
7.3 使用KSQL CLI 120
7.4 利用KSQL处理数据 122
7.5 写入topic中 123
7.6 本章小结 126
第8章 Kafka Connect 127
8.1 Kafka Connect简介 127
8.2 项目配置 128
8.3 Spark流处理程序 129
8.4 从Spark中读取Kafka 130
8.5 数据转换 131
8.6 数据处理 133
8.7 从Spark中写入至Kafka 133
8.8 运行SparkProcessor 135
8.9 本章小结 136