Ceph源码分析

本书作者通过多年的开发经验，总结了自己使用Ceph的实战经验，并对Ceph的框架和主要源代码进行了分析，为开发分布式系统提供了重要参考。主要内容包括：Ceph整体架构、Ceph通用模块、Ceph网络通信模块、Ceph客户端实现、CephCRUSH算法、Ceph底层对象存储机制、CephOsd、Cephmon等。

常涛，靠前较早一批接触Ceph的先行者，具有多年分布式存储开发经验，曾在雅虎北京研发中心工作，后到京东、华为任职，目前在ZettaKit创业公司从事分布式存储、云计算相关技术研发。

序言
前言
第1章Ceph整体架构
1.1Ceph的发展历程
1.2Ceph的设计目标
1.3Ceph基本架构图
1.4Ceph客户端接口
1.4.1RBD
1.4.2CephFS
1.4.3RadosGW
1.5RADOS
1.5.1Monitor
1.5.2对象存储
1.5.3pool和PG的概念
1.5.4对象寻址过程
1.5.5数据读写过程
1.5.6数据均衡
1.5.7Peering
1.5.8Recovery和Backfill
1.5.9纠删码
1.5.10快照和克隆
1.5.11Cache Tier
1.5.12Scrub
1.6本章小结
第2章Ceph通用模块
2.1Object
2.2Buffer
2.2.1buffer::raw
2.2.2buffer::ptr
2.2.3buffer::list
2.3线程池
2.3.1线程池的启动
2.3.2工作队列
2.3.3线程池的执行函数
2.3.4超时检查
2.3.5ShardedThreadPool
2.4Finisher
2.5Throttle
2.6SafeTimer
2.7本章小结
……
第3章Ceph网络通信
第4章CRUSH数据分布算法
第5章Ceph客户端
第6章Ceph的数据读写
第7章本地对象存储
第8章Ceph纠删码
第9章Ceph快照和克隆
第10章Ceph Peering机制
第11章Ceph数据修复
第12章Ceph一致性检查
第13章Ceph自动分层存储

前    言随着云计算技术的兴起和普及，云计算基石：分布式共享存储系统受到业界的重视。Ceph以其稳定、高可用、可扩展的特性，乘着开源云计算管理系统OpenStack的东风，迅速成为最热门的开源分布式存储系统。
    Ceph作为一个开源的分布式存储系统，人人都可以免费获得其源代码，并能够安装部署，但是并不等于人人都能用起来，人人都能用好。用好一个开源分布式存储系统，首先要对其架构、功能原理等方面有比较好的了解，其次要有修复漏洞的能力。这些都是在采用开源分布式存储系统时所面临的挑战。
    要用好Ceph，就必须深入了解和掌握Ceph源代码。Ceph源代码的实现被公认为比较复杂，阅读难度较大。阅读Ceph源代码，不但需要对C++语言以及boost库和STL库非常熟悉，还需要有分布式存储系统相关的基础知识以及对实现原理的深刻理解，最后还需要对Ceph框架和设计原理以及具体的实现细节有很好的把握。所以Ceph源代码的阅读是相当有挑战性的。
    本着对Ceph源代码的浓厚兴趣以及实践工作的需要，需要对Ceph在源代码层级有比较深入的了解。当时笔者尽可能地搜索有关Ceph源代码的介绍，发现这方面的资料比较少，笔者只能自己对着Ceph源代码开始了比较艰辛的阅读之旅。在这个过程中，每一个小的进步都来之不易，理解一些实现细节，都需要对源代码进行反复地推敲和琢磨。自己在阅读的过程中，特别希望有人能够帮助理清整体代码的思路，能够解答一下关键的实现细节。本书就是秉承这样一个简单的目标，希望指引和帮助广大Ceph爱好者更好地理解和掌握Ceph源代码。
    本书面向热爱Ceph的开发者，想深入了解Ceph原理的高级运维人员，想基于Ceph做优化和定制的开发人员，以及想对社区提交代码的研究人员。官网上有比较详细的介绍Ceph安装部署以及操作相关的知识，希望阅读本书的人能够自己动手实践，对Ceph进一步了解。本书基于目前最新的Ceph 10.2.1版本进行分析。
    本书着重介绍Ceph的整体框架和各个实现模块的实现原理，对核心源代码进行分析，包括一些关键的实现细节。存储系统的实现都是围绕数据以及对数据的操作来展开，只要理解核心的数据结构，以及数据结构的相关操作就可以大致了解核心的实现和功能。本书的写作思路是先介绍框架和原理，其次介绍相关的数据结构，最后基于数据结构，介绍相关的操作实现流程。
    最后感谢一起工作过的同事们，同他们在Ceph技术上进行交流沟通并加以验证实践，使我受益匪浅。感谢机械工业出版社的编辑吴怡对本书出版所做的努力，以及不断提出的宝贵意见。感谢我的妻子孙盛南女士在我写作期间默默的付出，对本书的写作提供了坚强的后盾。
    由于Ceph源代码比较多，也比较复杂，写作的时间比较紧，加上个人的水平有限，错误和疏漏在所难免，恳请读者批评指正。有任何的意见和建议都可发送到我的邮箱changtao381@163.com，欢迎读者与我交流Ceph相关的任何问题。
    常涛2016年6月于北京