数据生态:MySQL复制技术与生产实践

本书侧重介绍主从复制的原理和复制技术的演进、主从复制技术在生产环境中的应用方案，以及主从复制中常见对象复制的安全性等。适用MySQL DBA、数据库架构师及相关开发人员阅读。

《数据生态：MySQL复制技术与生产实践》共分为3篇：基础篇、方案篇和参考篇。按照“基本原理”→“生产实践”→“更多参考”的逻辑顺序讲述，书中配了大量的原理与方案示意图，力求用通俗易懂的语言、直观明了的示意图、完整的知识涵盖面将MySQL复制技术讲透。其中，基础篇侧重介绍主从复制的原理和复制技术的演进，方案篇侧重介绍主从复制技术在生产环境中的应用方案，参考篇侧重介绍二进制日志的基本组成及主从复制中常见对象复制的安全性等。本书适用初、中、高级MySQLDBA、数据库架构师及相关开发人员阅读。

 

基础篇
第1章复制的概述2
1.1适用场景2
1.2数据同步方法3
1.3数据同步类型4
1.4复制格式4
第2章复制的基本原理6
2.1概述6
2.2细节7
第3章复制格式详解10
3.1复制格式概述10
3.2复制格式明细11
3.2.1基于statement和基于row的复制的优缺点11
3.2.2使用row格式的二进制日志进行复制14
3.3如何确定与记录复制中的安全和不安全语句15
第4章传统复制与GTID复制18
4.1传统复制18
4.2GTID复制19
4.2.1GTID的格式和存储19
4.2.2GTID的生命周期23
4.2.3GTID自动定位26
4.2.4GTID复制模式的27
第5章半同步复制29
5.1半同步复制的原理29
5.2半同步复制的管理接口33
5.3半同步复制的监控33
5.4半同步复制的注意要点34
第6章多线程复制36
6.1单线程复制原理36
6.2DATABASE多线程复制38
6.2.1原理38
6.2.2系统变量的配置40
6.3LOGICAL_CLOCK多线程复制40
6.3.1原理40
6.3.2系统变量的配置42
6.4WRITESET多线程复制42
6.4.1原理42
6.4.2系统变量的配置50
第7章多源复制51
7.1复制通道51
7.2单通道操作命令52
7.3复制语句的向前兼容性53
7.4启动选项和复制通道选项53
7.5复制通道的命名约定55
第8章从库中继日志和状态日志56
8.1中继日志和状态日志概述56
8.2从库中继日志57
8.3从库状态日志58
第9章通过PERFORMANCE_SCHEMA库检查复制信息66
9.1PERFORMANCE_SCHEMA库中的复制信息记录表概述66
9.2PERFORMANCE_SCHEMA库中的复制信息记录表详解70
9.2.1replication_applier_configuration表70
9.2.2replication_applier_status表71
9.2.3replication_applier_status_by_coordinator表72
9.2.4replication_applier_status_by_worker表74
9.2.5replication_connection_configuration表76
9.2.6replication_connection_status表78
9.2.7replication_group_member_stats表80
9.2.8replication_group_members表81
第10章通过其他方式检查复制信息83
10.1复制状态变量83
10.2复制心跳信息83
10.3SHOW SLAVE STATUS语句输出信息详解85
10.4通过SHOW PROCESSLIST语句查看复制线程状态92
10.5SHOW MASTER STATUS语句输出详解93
10.6SHOW SLAVE HOSTS语句93
第11章MySQL复制延迟Seconds_Behind_Master究竟是如何计算的96
11.1“口口相传”的计算方法96
11.2探寻“正确”的计算方法97
11.3验证100
11.3.1我们想确认什么100
11.3.2提前确认一些信息100
11.3.3执行验证102
11.4小结103
第12章如何保证从库在意外中止后安全恢复104
12.1从库的崩溃与恢复概述104
12.2从库的崩溃与恢复详解104
12.2.1单线程复制的安全恢复104
12.2.2多线程复制的安全恢复105
第13章MySQL Server复制过滤108
13.1MySQL Server复制过滤规则概述108
13.2库级别复制过滤选项的评估109
13.3表级别复制过滤选项的评估113
13.4复制过滤规则的应用115
方案篇
第14章搭建异步复制120
14.1操作环境信息120
14.2全新初始化场景121
14.2.1传统复制121
14.2.2GTID复制124
14.3已有数据场景126
14.3.1传统复制127
14.3.2GTID复制134
14.4变量模板140
14.4.1传统复制模式的变量模板140
14.4.2GTID复制模式的变量模板144
第15章搭建半同步复制146
15.1半同步复制插件的安装和配置环境要求146
15.2半同步复制插件的安装和配置147
15.2.1关键步骤147
15.2.2详细过程148
15.3半同步复制工作状态的验证152
第16章通过扩展从库以提高复制性能155
16.1操作环境155
16.2横向扩展156
16.2.1扩展从库的简要步骤157
16.2.2扩展从库的详细过程158
16.2.3配置从库的读负载均衡164
16.3提高复制性能165
第17章复制模式的切换167
17.1操作环境信息167
17.2复制模式的相关概念167
17.3传统复制在线变更为GTID复制173
17.3.1简要步骤173
17.3.2详细过程173
17.4GTID复制在线变更为传统复制179
17.4.1简要步骤179
17.4.2详细过程180
17.5GTID复制离线变更为传统复制186
17.5.1简要步骤186
17.5.2详细过程187
17.6传统复制离线变更为GTID复制191
17.6.1简要步骤191
17.6.2详细过程191
第18章复制拓扑的在线调整196
18.1操作环境信息196
18.2传统复制模式下的复制拓扑在线调整197
18.2.1并行复制变更为串行复制198
18.2.2串行复制变更为并行复制206
18.3GTID复制模式下的复制拓扑在线调整211
18.3.1并行复制变更为串行复制212
18.3.2串行复制变更为并行复制214
第19章主从实例的例行切换218
19.1操作环境信息218
19.2在线切换219
19.2.1基于账号删除的在线切换220
19.2.2基于修改连接数的在线切换232
第20章数据库故障转移239
20.1操作环境信息240
20.2主库故障转移的关键步骤241
20.3主库故障转移的详细过程243
20.3.1环境的准备243
20.3.2执行步骤245
第21章搭建多源复制255
21.1操作环境信息255
21.2基于传统复制的多源复制256
21.2.1传统复制模式下的单线程多源复制256
21.2.2传统复制模式下的多线程多源复制261
21.3基于GTID复制的多源复制263
21.3.1GTID复制模式下的单线程多源复制264
21.3.2GTID复制模式下的多线程多源复制267
21.4多源复制拓扑中复制相关的操作语句变化268
第22章MySQL版本升级273
22.1MySQL版本之间的复制兼容性273
22.2升级复制的设置274
第23章将不同数据库的数据复制到不同实例276
23.1操作环境信息276
23.2通过设置复制过滤规则将不同数据库的数据复制到不同实例277
23.2.1通过只读选项配置复制过滤规则278
23.2.2通过动态语句配置复制过滤规则286
第24章发生数据误操作之后的处理方案293
24.1操作环境信息294
24.2主库发生误操作后的数据恢复295
24.2.1通过延迟复制恢复数据296
24.2.2通过闪回工具恢复数据302
24.3从库发生误操作后的数据恢复309
24.3.1通过修改系统变量slave_exec_mode恢复数据309
24.3.2通过GTID特性注入空事务恢复数据316
第25章常用复制故障排除方案323
25.1确认故障现象323
25.2信息收集与故障排查323
25.3复制故障的修复325
25.4无法解决的问题326
参考篇
第26章二进制日志文件的基本组成328
26.1什么是二进制日志328
26.2二进制日志的组成328
26.3二进制日志内容解析329
26.3.1基于row的复制的二进制日志内容解析330
26.3.2基于statement的复制的二进制日志内容解析344
26.4小结351
第27章常规DDL操作解析352
27.1操作环境信息352
27.2常规DDL操作示例353
27.3二进制日志内容解析356
27.4小结359
第28章为何二进制日志中同一个事务的事件时间点会乱序360
28.1操作环境信息360
28.2验证前的准备360
28.3验证过程361
第29章复制AUTO_INCREMENT字段367
29.1操作环境信息367
29.2复制AUTO_INCREMENT字段的操作示例367
29.3对二进制日志的解析及解释368
29.3.1基于row的复制中AUTO_INCREMENT字段的复制368
29.3.2基于statement的复制中AUTO_INCREMENT字段的复制369
29.3.3混合复制中AUTO_INCREMENT字段的复制371
29.4使用AUTO_INCREMENT字段时的注意事项371
29.5小结372
第30章复制CREATE…IF NOT EXISTS语句373
30.1操作环境信息373
30.2复制CREATE…IF NOT EXISTS语句的操作演示374
30.3二进制日志解析结果的解释375
30.4小结376
第31章复制CREATE TABLE…SELECT语句377
31.1操作环境信息377
31.2复制CREATE TABLE…SELECT语句的操作示例377
31.3二进制日志的解析及解释380
31.3.1statement格式二进制日志的解析及解释380
31.3.2row格式和mixed格式二进制日志的解析及解释381
31.4使用CREATE TABLE…SELECT语句时的注意事项384
31.5小结384
第32章在主从复制中使用不同的表定义385
32.1操作环境信息385
32.2主从库的表字段数不同时如何复制386
32.2.1源表字段数多于目标表字段数386
32.2.2目标表字段数多于源表字段数388
32.3不同类型字段的复制389
32.3.1属性提升390
32.3.2有损转换与无损转换390
32.4小结391
第33章复制中的调用功能392
33.1操作环境信息392
33.2复制中的调用功能操作示例392
33.2.1在READ-COMMITTED隔离级别、基于row的复制场景下数据库的操作记录393
33.2.2在READ-COMMITTED隔离级别、基于statement的复制场景下数据库的操作记录396
33.3二进制日志的解析及解释396
33.3.1row和mixed格式二进制日志的解析及解释396
33.3.2statement格式二进制日志的解析及解释402
33.4小结407
第34章复制LIMIT子句408
34.1操作环境信息408
34.2复制LIMIT子句的操作示例408
34.3二进制日志的解析及解释409
34.3.1statement格式二进制日志的解析及解释410
34.3.2row格式和mixed格式二进制日志的解析及解释411
34.4小结414
第35章复制LOADDATA语句415
35.1操作环境信息415
35.2复制LOADDATA语句的操作示例416
35.2.1准备演示数据416
35.2.2LOADDATA语句的操作417
35.3二进制日志的解析及解释417
35.3.1statement格式二进制日志的解析及解释417
35.3.2row格式和mixed格式二进制日志的解析及解释419
35.4小结420
第36章系统变量max_allowed_packet对复制的影响421
36.1系统变量简介421
36.2操作环境信息422
36.3max_allowed_packet对复制的影响操作示例423
36.3.1max_allowed_packet对主库的影响423
36.3.2max_allowed_packet对从库的影响424
36.4小结427
第37章复制临时表429
37.1操作环境信息429
37.2复制临时表的操作示例429
37.2.1基于statement的复制且隔离级别为REPEATABLE-READ430
37.2.2基于row的复制且隔离级别为REPEATABLE-READ432
37.2.3混合复制且隔离级别为REPEATABLE-READ433
37.2.4使用临时表时如何安全关闭从库433
37.3与临时表相关的其他注意事项435
37.4小结435
第38章复制中的事务不一致问题436
38.1事务不一致的场景类型436
38.2事务不一致的原因437
38.3事务不一致的后果437
38.4小结438