分布式数据库架构及企业实践

互联网的蓬勃发展，业务驱动技术不断升级，在系统越来越庞大，技术越来越复杂，应用部署集群化，所有压力全部指向数据库，数据量巨大，数据库优化也到极限了，数据库的运维难以为继，在这种情况下，分布式数据库似乎成为专享的解决方案。为了解决传统数据库的分布式化这个技术难题，各种数据库中间件应运而生，从早期的Amoeba、TDDL、Cobar，到如今的Mycat，技术日新月异，发展迅猛。Mycat已经成为了一个强大的开源分布式数据库中间件产品。面对企业应用的海量数据事务处理，是目前优选的开源解决方案。支持多种数据库，开发活跃，已有数百个项目使用，预期Mycat的采用将有爆发式增长趋势。所以Mycat开源社区核心开发者共同撰写了本书，帮助企业更好的使用Mycat中间件架构企业分布式数据库系统。

周继锋，拥有十多年大型项目架构设计及实战经验，曾知名品牌过众多分布式系统、微服务及大数据项目。在高并发、高可用、高可扩展性、高可维护性等领域拥有丰富的经验，对Hadoop、Spark源码进行过深度分析并具有丰富的实战经验。曾在ERP、医学、互联网行业担任资历工程师、资历架构师、技术总监等职务，为炼数成金不错讲师及靠前知名的开源分布式数据库中间件Mycat的负责人。

冯钻优，多年来致力于分布式系统架构、分布式数据库、大数据技术的研究，在高并发、高可用的分布式系统设计和大数据处理方面有着丰富的经验。曾担任架构师、开发经理、技术经理等职位，知名品牌过大型分布式系统、大数据分析项目的开发及实施落地，属于理论兼实践型架构师，现于某大型央企担任不错架构师、不错经理，为靠前知名的开源分布式数据库中间件Mycat的不错顾问。

陈胜尊，拥有多年编程经验，专注于电信运营商大数据项目的设计及开发，擅长Hadoop生态圈的大数据分析技术、分布式架构设计、高并发架构设计、MySQL优化，曾知名品牌众多大数据项目的架构设计。为靠前知名的开源分布式数据库中间件Mycat的活跃开发者。

左越宗，拥有多年数据库管理经验，维护过超过500台以上的数据库实例，精通NoSQL集群维护与优化、异构数据迁移、关系型数据库集群设计、分布式架构设计、SQL优化及数据库软件性能优化等，曾在互联网金融、在线教育、游戏行业担任不错MySQLDBA、数据库集群工程师、数据库专家等职位。为尚观科技不错讲师及靠前知名的开源分布式数据库中间件Mycat的不错顾问。

第1章数据库中间件与分布式数据库的实现1
1.1什么是分布式系统1
1.2为什么需要分布式数据库2
1.3分布式数据库的实现原理3
1.4Mycat数据库中间件简介5
1.4.1Mycat的历史与未来规划5
1.4.2Mycat与其他中间件的区别8
1.4.3Mycat的优势10
1.4.4Mycat的适用场合11
第2章Mycat入门13
2.1环境搭建13
2.1.1Windows环境搭建13
2.1.2Linux环境搭建15
2.2Mycat核心概念详解16
2.2.1逻辑库（schema）16
2.2.2逻辑表（table）16
2.2.3分片节点（dataNode）17
2.2.4节点主机（dataHost）17
2.3Mycat原理介绍18
2.4参与Mycat源码开发19
2.4.1Mycat源码环境搭建19
2.4.2Mycat源码调试19
第3章Mycat进阶22
3.1Mycat配置详解22
3.1.1Mycat支持的两种配置方式22
3.1.2server.xml配置文件23
3.1.3schema.xml配置文件28
3.1.4sequence配置文件37
3.1.5zk-create.yaml配置文件41
3.1.6其他配置文件44
3.2Mycat分片规则详解46
3.2.1分片表与非分片表46
3.2.2ER关系分片表46
3.2.3分片规则rule.xml文件详解46
3.2.4取模分片47
3.2.5枚举分片48
3.2.6范围分片49
3.2.7范围求模算法49
3.2.8固定分片hash算法50
3.2.9取模范围算法52
3.2.10字符串hash求模范围算法53
3.2.11应用指定的算法54
3.2.12字符串hash解析算法54
3.2.13一致性hash算法55
3.2.14按日期（天）分片算法56
3.2.15按单月小时算法57
3.2.16自然月分片算法58
3.2.17日期范围hash算法58
3.3Mycat管理命令详解59
3.3.1Reload命令61
3.3.2Show命令62
第4章Mycat高级技术实战68
4.1用Mycat搭建读写分离68
4.1.1MySQL读写分离69
4.1.2MySQLGaleraCluster读写分离73
4.1.3SQLServer读写分离83
4.2Mycat故障切换86
4.2.1Mycat主从切换86
4.2.2MySQLGalera节点切换99
4.3Mycat+Percona+HAProxy+Keepalived113
4.3.1Mycat113
4.3.2Percona集群124
4.3.3HAProxy131
4.3.4Keepalived138
4.4MHA+Keepalived集群搭建140
4.4.1配置MySQL半同步方式142
4.4.2安装配置MHA150
4.4.3测试重构153
4.4.4扩展Keepalived155
4.5用ZooKeeper搭建Mycat高可用集群158
4.5.1ZooKeeper概述158
4.5.2ZooKeeper的运用场景161
4.5.3ZooKeeper在Mycat中的使用163
4.6Mycat高可用配置165
4.7Mycat注解技术170
4.7.1balance注解实战170
4.7.2master/slave注解实战172
4.7.3SQL注解实战173
4.7.4schema注解实战176
4.7.5dataNode注解实战176
4.7.6catlet注解实战177
第5章Mycat企业运维179
5.1Mycat性能监控——Mycat-web详解179
5.1.1Mycat-web简介179
5.1.2Mycat-web的配置和使用180
5.1.3Mycat性能监控指标181
5.2Mycat性能优化183
5.3MySQL优化技术186
5.3.1数据库建表设计规范186
5.3.2SQL语句与索引195
5.3.3配置文件206
5.3.4InnoDB选择文件系统212
5.3.5系统架构213
第6章Mycat架构剖析215
6.1Mycat总体架构介绍215
6.2Mycat网络I/O架构与实现218
6.2.1MycatI/O架构概述218
6.2.2前端通信框架221
6.3Mycat线程架构与实现224
6.3.1多线程基础224
6.3.2Mycat线程架构226
6.4Mycat内存管理及缓存架构与实现228
6.4.1Mycat内存管理229
6.4.2Mycat缓存架构与实现231
6.5Mycat连接池架构与实现232
6.5.1Mycat连接池232
6.5.2Mycat连接池架构及代码实现234
6.6Mycat主从切换架构与实现235
6.6.1Mycat主从切换概述236
6.6.2Mycat主从切换的实现238
第7章Mycat核心技术分析241
7.1Mycat分布式事务的实现241
7.1.1XA规范241
7.1.2二阶段提交242
7.1.3三阶段提交243
7.1.4Mycat中分布式事务的实现244
7.2MycatSQL路由的实现249
7.2.1路由的作用249
7.2.2SQL解析器250
7.2.3路由计算252
7.3Mycat跨库Join的实现260
7.3.1全局表261
7.3.2ER分片262
7.3.3catlet263
7.3.4ShareJoin264
7.4Mycat数据汇聚和排序的实现270
7.4.1数据排序270
7.4.2数据汇聚273
第8章Mycat多数据库支持原理与实现275
8.1MySQL协议在Mycat中的实现275
8.1.1MySQL协议概述275
8.1.2Mycat的MySQL协议实现283
8.2PostgreSQL协议在Mycat中的实现287
8.2.1PostgreSQL介绍287
8.2.2PostgreSQL协议288
8.2.3PostgreSQL实现293
8.3Mycat对JDBC支持的实现298
8.3.1Oracle配置299
8.3.2SQLServer配置300
8.3.3MongoDB配置301
8.3.4源码分析306