从程序员到架构师：大数据量、缓存、高并发、微服务、多团队协同等核心场景实战

《从程序员到架构师：大数据量、缓存、高并发、微服务、多团队协同等核心场景实战》分为数据持久化层场景实战、缓存层场景实战、基于常见组件的微服务场景实战、微服务进阶场景实战和开发运维场景实战5个部分，基于对十余个架构搭建与改造项目的经验总结，介绍了大数据量、缓存、高并发、微服务、多团队协同等核心场景下的架构设计常见问题及其通用技术方案，包含冷热分离、查询分离、分表分库、秒杀架构、注册发现、熔断、限流、微服务等具体需求下的技术选型、技术原理、技术应用、技术要点等内容，将技术讲解与实际场景相结合，内容丰富，实战性强，易于阅读。 《从程序员到架构师：大数据量、缓存、高并发、微服务、多团队协同等核心场景实战》适合计划转型架构师的程序员及希望提升架构设计能力的IT从业人员阅读。

曾任硅谷上市公司技术总监、知名重资产型互联网上市公司技术总监、创业公司 CTO。目前是建信金融科技·基础技术中心的技术专家。 拥有 15 年互联网研发经验，保险、电商、银行等行业领域都有所涉猎，落地实践过数十个架构项目，在微服务、大数据、 AI工程化落地、中台化改造、DevOps 、运维自动化等方面有着丰富的经验。拉勾教育架构专栏优秀讲师。

序 前言 第1部分 数据持久化层场景实战 第1章 冷热分离/ 1.1 业务场景：几千万数据量的工单表如何快速优化/ 1.2 数据库分区，从学习到放弃/ 1.3 冷热分离简介/ 1.3.1 什么是冷热分离/ 1.3.2 什么情况下使用冷热分离/ 1.4 冷热分离一期实现思路：冷热数据都用MySQL/ 1.4.1 如何判断一个数据到底是冷数据还是热数据/ 1.4.2 如何触发冷热数据分离/ 1.4.3 如何分离冷热数据/ 1.4.4 如何使用冷热数据/ 1.4.5 历史数据如何迁移/ 1.4.6 整体方案/ 1.5 冷热分离二期实现思路：冷数据存放到HBase/ 1.5.1 冷热分离一期解决方案的不足/ 1.5.2 归档工单的使用场景/ 1.5.3 HBase原理介绍/ 1.5.4 HBase的表结构设计/ 1.5.5 二期的代码改造/ 1.6 小结/ 第2章 查询分离/ 2.1 业务场景：千万工单表如何实现快速查询/ 2.2 查询分离简介/ 2.2.1 何为查询分离/ 2.2.2 何种场景下使用查询分离/ 2.3 查询分离实现思路/ 2.3.1 如何触发查询分离/ 2.3.2 如何实现查询分离/ 2.3.3 查询数据如何存储/ 2.3.4 查询数据如何使用/ 2.3.5 历史数据迁移/ 2.3.6 MQ + Elasticsearch的整体方案/ 2.4 Elasticsearch注意事项/ 2.4.1 如何使用Elasticsearch设计表结构/ 2.4.2 Elasticsearch的存储结构/ 2.4.3 Elasticsearch如何修改表结构/ 2.4.4 陷阱一：Elasticsearch是准实时的吗/ 2.4.5 陷阱二：Elasticsearch宕机恢复后，数据丢失/ 2.4.6 陷阱三：分页越深，查询效率越低/ 2.5 小结/ 第3章 分表分库/ 3.1 业务场景：亿级订单数据如何实现快速读写/ 3.2 拆分存储的技术选型/ 3.2.1 MySQL的分区技术/ 3.2.2 NoSQL/ 3.2.3 NewSQL/ 3.2.4 基于MySQL的分表分库/ 3.3 分表分库实现思路/ 3.3.1 使用什么字段作为分片主键/ 3.3.2 分片的策略是什么/ 3.3.3 业务代码如何修改/ 3.3.4 历史数据如何迁移/ 3.3.5 未来的扩容方案是什么/ 3.4 小结/ 第2部分 缓存层场景实战 第4章 读缓存/ 4.1 业务场景：如何将十几秒的查询请求优化成毫秒级/ 4.2 缓存中间件技术选型(Memcached,MongoDB,Redis)/ 4.3 缓存何时存储数据/ 4.4 如何更新缓存/ 4.4.1 组合1：先更新缓存，再更新数据库/ 4.4.2 组合2：先删除缓存，再更新数据库/ 4.4.3 组合3：先更新数据库，再更新缓存/ 4.4.4 组合4：先更新数据库，再删除缓存/ 4.4.5 组合5：先删除缓存，更新数据库，再删除缓存/ 4.5 缓存的高可用设计/ 4.6 缓存的监控/ 4.7 小结/ 第5章 写缓存/ 5.1 业务场景：如何以最小代价解决短期高频写请求/ 5.2 写缓存/ 5.3 实现思路/ 5.3.1 写请求与批量落库这两个操作同步还是异步/ 5.3.2 如何触发批量落库/ 5.3.3 缓存数据存储在哪里/ 5.3.4 缓存层并发操作需要注意什么/ 5.3.5 批量落库失败了怎么办/ 5.3.6 Redis的高可用配置/ 5.4 小结/ 第6章 数据收集/ 6.1 业务背景：日亿万级请求日志收集如何不影响主业务/ 6.2 技术选型思路/ 6.2.1 使用什么技术保存埋点数据的第一现场/ 6.2.2 使用什么技术收集日志数据到持久化层/ 6.2.3 为什么使用Kafka/ 6.2.4 使用什么技术把Kafka的数据迁移到持久化层/ 6.3 整体方案/ 6.4 小结/ 第7章 秒杀架构/ 7.1 业务场景：设计秒杀架构必知必会的那些事/ 7.2 整体思路/ 7.2.1 浏览页面如何将请求拦截在上游/ 7.2.2 下单页面如何将请求拦截在上游/ 7.2.3 付款页面如何将请求拦截在上游/ 7.2.4 整体服务器架构/ 7.3 小结/ 第3部分 基于常见组件的微服务场景实战 第8章 注册发现/ 8.1 业务场景：如何对几十个后台服务进行高效管理/ 8.2 传统架构会出现的问题/ 8.2.1 配置烦琐，上线容易出错/ 8.2.2 加机器要重启/ 8.2.3 负载均衡单点/ 8.2.4 管理困难/ 8.3 新架构要点/ 8.3.1 中心存储服务使用什么技术/ 8.3.2 使用哪个分布式协调服务/ 8.3.3 基于ZooKeeper需要实现哪些功能/ 8.4 ZooKeeper宕机了怎么办/ 8.5 小结/ 第9章 全链路日志/ 9.1 业务场景：这个请求到底经历了什么/ 9.2 技术选型/ 9.2.1 日志数据结构支持OpenTracing/ 9.2.2 支持Elasticsearch作为存储系统/ 9.2.3 保证日志的收集对性能无影响/ 9.2.4 查询统计功能的丰富程度/ 9.2.5 使用案例/ 9.2.6 最终选择/ 9.3 注意事项/ 9.3.1 SkyWalking的数据收集机制/ 9.3.2 如果SkyWalking服务端宕机了，会出现什么情况/ 9.3.3 流量较大时，如何控制日志的数据量/ 9.3.4 日志的保存时间/ 9.3.5 集群配置：如何确保高可用/ 9.4 小结/ 第10章 熔断/ 10.1 业务场景：如何预防一个服务故障影响整个系统/ 10.1.1 第一个问题：请求慢/ 10.1.2 第二个问题：流量洪峰缓存超时/ 10.2 覆盖场景/ 10.3 Sentinel 和Hystrix/ 10.4 Hystrix的设计思路/ 10.4.1 线程隔离机制/ 10.4.2 熔断机制/ 10.4.3 滚动（滑动）时间窗口/ 10.4.4 Hystrix调用接口的请求处理流程/ 10.5 注意事项/ 10.5.1 数据一致性/ 10.5.2 超时降级/ 10.5.3 用户体验/ 10.5.4 熔断监控/ 10.6 小结/ 第11章 限流/ 11.1 业务场景：如何保障服务器承受亿级流量/ 11.2 限流算法/ 11.2.1 固定时间窗口计数算法/ 11.2.2 滑动时间窗口计数算法/ 11.2.3 漏桶算法/ 11.2.4 令牌桶算法/ 11.3 方案实现/ 11.3.1 使用令牌桶还是漏桶模式/ 11.3.2 在Nginx中实现限流还是在网关层中实现限流/ 11.3.3 使用分布式限流还是统一限流/ 11.3.4 使用哪个开源技术/ 11.4 限流方案的注意事项/ 11.4.1 限流返回给客户端的错误代码/ 11.4.2 实时监控/ 11.4.3 实时配置/ 11.4.4 秒杀以外的场景限流配置/ 11.5 小结/ 第4部分 微服务进阶场景实战 第12章 微服务的痛：用实际经历告诉你它有多少陷阱/ 12.1 单体式架构VS微服务架构/ 12.2 微服务的好处/ 12.3 微服务的痛点/ 12.3.1 痛点：微服务职责划分/ 12.3.2 痛点：微服务粒度拆分/ 12.3.3 痛点：没人知道系统整体架构的全貌/ 12.3.4 痛点：重复代码多/ 12.3.5 痛点：耗费更多服务器资源/ 12.3.6 痛点：分布式事务/ 12.3.7 痛点：服务之间的依赖/ 12.3.8 痛点：联调的痛苦/ 12.3.9 痛点：部署上的难题/ 12.4 小结/ 第13章 数据一致性/ 13.1 业务场景：下游服务失败后上游服务如何独善其身/ 13.2 最终一致性方案/ 13.3 实时一致性方案/ 13.4 TCC模式/ 13.5 Seata中AT模式的自动回滚/ 13.6 尝试Seata/ 13.7 小结/ 第14章 数据同步/ 14.1 业务场景：如何解决微服务之间的数据依赖问题/ 14.2 数据冗余方案/ 14.3 解耦业务逻辑的数据同步方案/ 14.4 基于Bifrost的数据同步方案/ 14.4.1 技术选型/ 14.4.2 Bifrost架构/ 14.4.3 注意事项/ 14.5 小结/ 第15章 BFF/ 15.1 业务场景：如何处理好微服务之间千丝万缕的关系/ 15.2 API层/ 15.3 客户端适配问题/ 15.4 BFF（BackendforFront）/ 15.4.1 技术架构上怎么实现/ 15.4.2 API之间的代码重复怎么解决/ 15.4.3 后台服务与API服务的开发团队如何分工/ 15.5 小结/ 第5部分 开发运维场景实战 第16章 接口Mock/ 16.1 业务场景：第三方服务还没完成，功能设计如何继续/ 16.2 解决思路/ 16.3 Mock服务端设计/ 16.3.1 Mock接口支持返回动态字段数据/ 16.3.2 Mock接口支持一些简单的逻辑/ 16.3.3 Mock接口支持回调/ 16.3.4 Mock接口支持规则校验/ 16.3.5 Mock服务支持接口文档导入/ 16.3.6 Mock服务端实现框架/ 16.4 Mock服务客户端调用设计/ 16.4.1 Mock服务如何支持基于二进制流的接口调用/ 16.4.2 Mock服务客户端如何简单切换Mock与真实服务/ 16.4.3 如何预防线上环境使用Mock服务/ 16.5 小结/ 第17章 一人一套测试环境/ 17.1 业务场景：测试环境何时能释放出来使用/ 17.2 解决思路/ 17.2.1 API服务间的隔离/ 17.2.2 后台服务间的隔离/ 17.2.3 MQ和Redis隔离/ 17.2.4 配置中心数据的隔离/ 17.2.5 数据库间的数据隔离/ 17.3 使用流程/ 17.4 小结/ 第18章 结束语：如何成为不可或缺的人/ 18.1 无关职责，帮领导解决技术难题/ 18.2 理解领导的非技术问题/ 18.3 弄清领导对你的期望值/ 18.4 小结/