ClickHouse性能之巅 从架构设计解读性能之谜

（1）作者经验丰富：作者是滴普科技合伙人兼首席架构师，在ClickHouse方面积累了大量的实战经验。 （2）重在授人以渔：通过剖析ClickHouse底层引擎的架构设计来解密ClickHouse高性能背后的底层逻辑。 （3）同时授人以渔：结合ClickHouse的应用场景，总结了大量的使用技巧和性能优化方法。 （4）近10位专家联袂推荐：滴普科技联合创始人杨磊、京东云数据库研发负责人高新刚、ClickHouse 中国社区创始人郭炜等近10位专家强烈推荐。

这是一本通过分析ClickHouse底层引擎架构来解读ClickHouse极--致性能的底层逻辑的著作，同时还总结了ClickHouse在各种适用场景中的使用技巧和性能调优方法，让读者知其然，也能知其所以然。 全书一共12章，分为两个部分： 第1部分 架构篇（第1-7章） 简要地介绍了数据仓库的核心技术和思路，系统讲解了ClickHouse的查询性能优势、适用场景、架构设计和运作过程，深入地剖析了ClickHouse的存储引擎架构、计算引擎架构以及决定ClickHouse性能的关键因素，还将ClickHouse与其他数仓架构进行了深度对比，不仅阐明了ClickHouse查询速度快的底层逻辑，也推导出了ClickHouse的适用场景。 第2部分 实战篇（第8-12章） 针对ClickHouse的适用场景，讲解了它的各种使用技巧以及存算分离架构、分布式架构等云计算时代的全新架构，更重要的是，从数据结构、内存、磁盘、网络、CPU、查询等方面全面总结了ClickHouse的性能优化方法和原则。

赞誉
序1
序2
自序
前言
第一部分架构篇
第1章数据仓库的核心技术3
1.1OLAP和OLTP的本质区别4
1.1.1数据三范式4
1.1.2规范化的意义6
1.1.3规范化的局限7
1.1.4数仓建模的本质7
1.1.5OLAP和OLTP的底层数据模型8
1.1.6维度建模8
1.2典型大数据数仓技术及其核心思路10
1.2.1Hive10
1.2.2HBase11
1.2.3Kylin12
1.2.4其他数仓13
1.3传统数仓的缺陷13
1.3.1效率低13
1.3.2延迟高14
1.3.3成本高14
1.4ClickHouse查询性能的优势15
1.4.1向量化引擎15
1.4.2高效的数据压缩16
1.4.3高效的I/O优化17
1.5本章小结18
第2章ClickHouse简介19
2.1ClickHouse的4个标签19
2.1.1性能强大19
2.1.2单机处理能力强20
2.1.3成本低21
2.1.4不支持事务21
2.2ClickHouse的3个适用场景22
2.2.1BI报表的交互式分析22
2.2.2互联网日志分析22
2.2.3广告营销23
2.3本章小结24
第3章ClickHouse架构概览25
3.1ClickHouse架构简介26
3.2ClickHouse的核心抽象27
3.2.1列和字段27
3.2.2数据类型28
3.2.3块32
3.2.4表33
3.3ClickHouse的运作过程35
3.3.1数据插入过程35
3.3.2数据查询过程35
3.3.3数据更新和数据删除过程36
3.4本章小结37
第4章MergeTree存储引擎架构39
4.1MergeTree存储引擎的三大特点40
4.2MergeTree的数据组织41
4.2.1块41
4.2.2数据堆放方式41
4.3MergeTree的文件组织43
4.3.1数据文件、元数据文件、索引文件和其他文件45
4.3.2分区47
4.3.3数据库和表48
4.4索引49
4.4.1主键索引49
4.4.2标记49
4.5与事务数据库存储引擎的对比50
4.6存储引擎如何影响查询速度52
4.6.1预排序52
4.6.2列存52
4.6.3压缩53
4.7MergeTree存储引擎的工作过程53
4.7.1数据库、数据表的创建过程54
4.7.2数据插入过程54
4.7.3分区合并和删除过程54
4.7.4数据读取过程56
4.8本章小结59
第5章ClickHouse计算引擎架构61
5.1ClickHouse计算引擎的架构简介与设计思想61
5.1.1整体架构62
5.1.2SQL解析器62
5.1.3解释器63
5.1.4执行器63
5.1.5设计思想64
5.2火山模型65
5.2.1火山模型概述65
5.2.2火山模型的原理66
5.2.3火山模型的优点与缺点67
5.3向量化引擎67
5.3.1向量化引擎的实现方式68
5.3.2ClickHouse中的向量化算子69
5.3.3向量化引擎的前提70
5.4计算引擎如何影响查询速度72
5.4.1ClickHouse查询速度快的前提72
5.4.2ClickHouse查询速度快的本质74
5.5本章小结74
第6章ClickHouse与其他数仓架构的对比75
6.1ClickHouse与Hive的对比75
6.1.1Hive的数据文件76
6.1.2Hive的存储系统82
6.1.3Hive计算引擎与ClickHouse计算引擎的差异84
6.1.4ClickHouse比Hive查询速度快的原因85
6.2ClickHouse与HBase的对比86
6.2.1HBase的数据模型86
6.2.2HBase的存储系统与ClickHouse的异同87
6.2.3HBase的适用场景及ClickHouse不适合的原因87
6.3ClickHouse与Kylin的对比88
6.3.1Kylin的架构88
6.3.2Kylin解决性能问题的思路88
6.3.3Kylin方案的缺陷89
6.3.4ClickHouse的方案89
6.4本章小结91
第7章深度思考：决定外在能力的因素93
7.1从架构层面分析ClickHouse93
7.1.1ClickHouse速度快的前提93
7.1.2对ClickHouse的一些误解94
7.2结构决定功能95
7.2.1方法论96
7.2.2意义97
7.2.3不要过度设计98
7.3从ClickHouse的设计来理解99
7.3.1结构决定能力的上限99
7.3.2结构决定应用层算法99
7.4本章小结100
第二部分实战篇
第8章ClickHouse使用技巧105
8.1数据导入、导出技巧105
8.1.1外部文件导入、导出技巧105
8.1.2灵活使用集成表引擎导入、导出数据109
8.2建表技巧117
8.2.1表引擎选择技巧118
8.2.2分区键选择技巧120
8.2.3数据结构选择技巧120
8.2.4分区技巧121
8.3高级技巧121
8.3.1物化视图121
8.3.2投影122
8.3.3位图122
8.3.4变更数据捕获123
8.4常见报错及处理方法123
8.5本章小结124
第9章ClickHouse实现用户画像系统125
9.1用户画像概述125
9.1.1用户画像系统介绍125
9.1.2用户画像系统的需求描述127
9.1.3用户画像系统的需求分析127
9.1.4用户画像系统的架构128
9.2用户画像系统的关键技术实现129
9.2.1技术选型129
9.2.2分析阶段130
9.2.3运营阶段136
9.3基于ClickHouse的用户画像系统的优点137
9.4本章小结139
第10章ClickHouse的存算分离架构141
10.1存算分离架构背景141
10.1.1相关概述141
10.1.2存算分离的典型架构142
10.1.3存算分离的意义143
10.1.4存算分离的局限145
10.2ClickHouse中的存算分离147
10.2.1实现方式147
10.2.2注意事项150
10.3存算分离架构给ClickHouse带来的优势151
10.4本章小结152
第11章ClickHouse的分布式架构153
11.1架构特点及对比153
11.1.1ClickHouse分布式架构的优点154
11.1.2ClickHouse分布式架构的缺点155
11.1.3ClickHouse与Hadoop的分布式架构对比156
11.2基本概念156
11.2.1集群157
11.2.2副本158
11.2.3分片159
11.3ClickHouse的复制表引擎160
11.3.1创建复制表160
11.3.2复制表复制161
11.3.3复制表查询161
11.4ClickHouse分布式表引擎162
11.4.1创建分布式表162
11.4.2分布式表查询原理163
11.4.3分布式表的数据写入方案165
11.4.4分布式表中副本的处理方式165
11.5本章小结166
第12章ClickHouse性能优化167
12.1性能优化的原则167
12.2数据结构优化168
12.3内存优化171
12.4磁盘优化171
12.5网络优化173
12.6CPU优化173
12.7查询优化174
12.8数据迁移优化176
12.9本章小结177