云计算架构技术与实践(第2版)

华为云计算首席架构师 顾炯炯全新作品畅销书升级至第2版 全彩印刷分享了华为云计算核心竞争力构建与价值转化经验增加了云计算前言创新领域热点技术 Docker容器与微服务敏捷迭代 大数据与数据库云化 行业建模与机器学习算法 混合云与管理自动化编排、 云生态建设等

云计算概念诞生至今已约十年的时间，这十年来，相比云计算诞生初期，技术条件、行业和市场环境均发生了巨大的变化，广大读者对云计算的认知需求，也从当初的粗浅概念阶段，发展到希望深度探索的阶段。 《云计算架构技术与实践(第2版)》以云计算架构技术为核心，从讨论云计算发展为起点，围绕云计算架构涉及的核心技术与商业实践展开。论及的核心技术包括计算、存储、网络、数据、管理、接入、安全等方面，涵盖了云计算的趋势、原理、特性与实践。 《云计算架构技术与实践(第2版)》在第2版做了与时俱进的更新，分享了华为在云计算核心竞争力构建与价值转换方面的经验与建议，并补充了业界在公有云、私有云、行业云，以及电信网络云化商用落地与技术应用方面的成功优秀实践。与此同时，针对两年来云计算在前沿创新领域进入人们视野的新热点，如Docker容器与微服务敏捷迭代、大数据与数据库云化、行业建模与机器学习算法、混合云与管理自动化编排、云生态建设等，第2版重点新增了对其技术与架构发展动态以及应用前景的探讨，希望能给大家带来更多的启发与帮助。 《云计算架构技术与实践(第2版)》对希望了解云计算技术全新进展的读者和希望深入探索云计算架构技术的读者有所帮助，适用于企业IT部门首席信息官（CIO）、IT主管、IT技术工程师、技术类人员、IT技术公司员工、互联网公司员工、教育机构的师生等。

顾炯炯华为公司云计算首席架构师，主导完成华为公司云计算产品与解决方案的技术规划与架构设计，支撑了德国电信公有云、西班牙电信公有云、华为企业云、某世界500强大型银行OpenStack私有云、浙江移动IDC公有云、上海联通私有云、华为开发测试及桌面云等数百个云计算项目的商用落地。曾历任华为公司移动软交换产品首席架构师、融合IMS解决方案首席架构师，拥有已获授权并发布的个人专利30多项。

第 1 章?云计算的商业动力与技术趋势 1 1.1?云计算基础概念与架构 2 1.2?云计算的商业动力：企业ICT转型 3 1.3?企业云计算的发展趋势 12 第 2 章?云计算的架构内涵与关键技术 19 2.1?云计算的总体架构 20 2.2?云计算架构关键技术 34 2.3?云计算核心架构竞争力衡量维度 47 2.4?云计算解决方案的典型服务与落地架构 51 第 3 章?云计算及大数据开源软件概览 65 3.1?OpenStack概述 66 3.2?容器开源软件：Kubernetes / Mesos / Docker 72 3.3?大数据开源软件：Hadoop/Spark 73 3.4?开源还是闭源 81 第 4 章?面向计算资源共享最大化和管理自动化的软件定义计算 83 4.1?XEN/KVM虚拟化引擎 84 4.2?基于OpenStack Nova的计算资源池调度算法 86 4.3?计算高可靠性保障 91 4.4?针对企业关键应用云化的虚拟化调优 92 4.5?基于OpenStack Ironic的裸金属服务 101 4.6?异构适配多种Hypervisor类型 106 第 5 章?面向应用敏捷化部署的Docker容器及其调度 108 5.1?容器典型应用场景 109 5.2?Docker容器关键技术 110 5.3?容器操作系统 112 5.4?Docker容器资源管理调度和应用编排 115 5.5?Docker容器与软件定义计算的集成 123 第 6 章?分布式软件定义存储概述 128 6.1?分布式软件定义存储 129 6.2?支持企业关键应用的软件定义块存储 135 6.3?传统存储SAN/NAS的管理整合及性能加速 142 6.4?分布式对象存储 143 6.5?面向云存储服务的QoS/SLA管理 148 6.6?分布式软件定义存储的Erasure Code，分布式重删压缩 149 第 7 章?面向自动化、多租户的软件定义网络 153 7.1?网络虚拟化的驱动力与关键需求 154 7.2?软件Overlay SDN网络，L2/L3网络 164 7.3?硬件Underlay SDN网络 170 7.4?软件化L4～L7网络功能 172 7.5?网络虚拟化端到端解决方案 176 第 8 章?无边界计算的混合云 186 8.1?混和云的驱动力与背景 187 8.2?典型的混合云架构模式 189 8.3?基于OpenStack级联的开放异构混合云 190 第 9 章? PaaS应用开发平台 193 9.1?PaaS简介 194 9.2?基于Docker的新型PaaS 195 9.3?消息中间件服务 198 9.4?数据库和缓存服务 200 9.5?大数据服务 201 第 10 章?大数据平台核心技术与架构 205 10.1?大数据特点与支撑技术 206 10.2?企业级Hadoop 208 10.3?流处理技术 220 10.4?大数据在金融领域的探索与实践 225 10.5?未来大数据应用畅想 230 第 11 章?企业桌面云接入的关键技术架构与应用 235 11.1?桌面云接入概述 236 11.2?桌面云接入的架构 239 11.3?桌面云接入的典型应用 239 11.4?桌面云接入的关键技术 244 11.5?面向多租户的企业桌面公有云服务 252 11.6?终端无关的移动办公接入 254 第 12 章?第三方云应用生态Marketplace及应用编排自动化 259 12.1?基于开放云平台的云生态系统构建 260 12.2?Marketplace系统架构 262 12.3?面向电信网络和业务云化的CT编排自动化-MANO 262 12.4?面向IT应用的IT编排自动化—— Heat & TOSCA 270 12.5?TOSCA(云应用的拓扑编排标准) 272 第 13 章?云微服务敏捷治理架构与组织流程 275 13.1?从瀑布式到敏捷式，从服务到微服务 276 13.2?微服务的治理架构 278 13.3?支撑敏捷开发与上线的微服务CI/CD工具链 286 13.4?面向微服务的DevOps研发运维组织变革 288 第 14 章?云安全架构与应用实践 290 14.1?端到端云安全架构 291 14.2?可信计算TPM/vTPM 294 14.3?虚拟机的安全隔离 298 14.4?虚拟化环境中的网络安全 300 14.5?云数据安全 301 14.6?公有云、私有云的安全组 303 14.7?云安全管理 304 14.8?安全即服务 306 14.9?云安全应用实施案例 306 14.10?云计算安全的其他考虑 307 14.11?云计算服务法律风险及其应对 308 缩略语 319 后?记 329

第2版序言 2014年我们出版了本书第1版，试图帮助大家揭开云计算技术与架构的神秘面纱。然而两年以来，如何让云计算真正走下技术的神坛，脚踏实地地服务好全球各行各业，使其ICT生产效率提升，促使ICT产业尽快完成面向极致开放化、敏捷化与智能化的升级转型，仍旧是摆在广大云计算从业者面前共同的课题与挑战。带着这些问题，针对第1版中已覆盖的云计算技术趋势、OpenStack、软件定义网络、云安全、大数据、分布式软件定义存储、软件定义Overlay网络、云计算实践等内容，我们在第2版中均做了与时俱进的更新，分享了华为在云计算核心竞争力构建与价值转换方面的经验与建议，并补充了业界在公有云、私有云、行业云以及电信网络云化商用落地与技术应用方面的成功优秀实践。与此同时，针对两年来云计算在前沿创新领域最新进入人们视野的新热点，诸如Docker容器与微服务敏捷迭代、大数据与数据库云化、行业建模与机器学习算法、混合云与管理自动化编排、云生态建设等，我们在第2版中也重点新增了对其技术与架构发展动态以及应用前景的探讨，希望能给大家带来更多的启发与帮助。 在此，我谨代表全体参与本书编纂写作的专家团队成员，再次衷心感谢广大读者的持续关心与支持！愿大家在云计算产业化发展之路上共勉，收获更多、走得更远！ 顾炯炯序言一 早在3000多年前，《易经》出现时，人类便用朴实的哲学思想揭示了一个变化的世界。变化无所不在，体现在政治、经济、社会、科学等方方面面。其中科学技术的发展变化，是这几个领域中被人们最能感同身受的。在科学技术领域，IT技术又成了科技变化发展的急先锋。IT领域的“云计算”在2007年还是个未知概念，到2014年“云计算”不仅已经家喻户晓，而且在基于云计算平台上，创造了一个又一个发展速度的新纪录：一款在云平台上的游戏，可以在几个月发展数千万用户；云平台支撑的电子商务，1秒钟可以完成数万笔交易。目前这种IT云计算领域的发展变化模式已经不再局限于令人瞠目的数字，而是已经开始向传统行业乃至国家整体经济与社会领域进行快速渗透。我们相信，在不久的将来，全球的经济、社会与科学的面貌，在云计算技术、服务与理念的推动下会焕然一新。这就是我们过去十几年常说的“信息技术革命”，在我们眼前正在发生、发展和不断演变着。“云计算”这个名词虽然目前已经家喻户晓，而且业内基本认可美国国家标准与技术研究院(NIST)对云计算的概念定义，但人们对云计算的理解至今依旧不同。究其根因，一方面是云计算的技术、服务模式和理念在不断演进和发展变化，另一方面，云计算的宣传推广主体，出于商业或理念的差异而对云计算的内涵进行了不同方向的强化和引申。人们对云计算的不同理解，势必引发概念定义上的争议，但一个不争的共识是：云计算已经落地生根，并快速地发展壮大，“像用电一样使用信息服务”的云计算理想虽然还未完全实现，但距离这个目标已经越来越近。我们每个人对云计算的发展阶段同样可能有不同的理解和划分，这很正常，也很有益，因为多样化的观点碰撞是创新灵感的源泉。本书也将“云计算”的技术内涵进行了更大范围的发展和延伸。这让我联想到互联网行业正在发生的变化，早期的互联网公司仅仅开发与其直接相关的web网站，但现如今，大型互联网公司，所做的产品与业务早已远远地超出当初的范畴，不仅在看似简单的web网站下面搭建了一个庞大的数据处理与分析平台，而且支撑其网站的服务器、存储、网络乃至数据中心这些硬件产品均由互联网公司自己研发与设计，领先的互联网公司做的产品还远不止这些，Google推出了手机操作系统、眼镜，并致力于开发、完善无人驾驶汽车；亚马逊开发无人飞机用于物流投递；Facebook在虚拟现实领域进行了高额投入；国内的阿里、腾讯等公司在开发各种金融类创新产品。针对这些巨大的变化，在没有更好的名称之前，我们依然要称呼它们是互联网公司，我们只能说当今互联网的含义比10年前的互联网更加宽泛。“云计算”也是如此。在IT领域，基本上每3～5年便会进行一次产品技术的更新换代，云计算经过多年发展，无论在技术深度还是在技术广度上均会有显著延展。通过阅读此书，可以明显感受到云计算技术这些年来的发展和进步，以及云计算技术在企业IT和电信网络重构中的作用。云计算不仅对企业和电信的发展有重大的推动作用，对教育科研领域也将有深远的影响。“云计算”是由企业提出的概念，并一直由企业主导“云计算”技术的研发、推广与应用。特别是云计算所支撑的大数据概念与技术的出现，企业主导，特别是互联网企业主导技术发展的趋势更加明显。之所以企业能够主导云计算与大数据技术的发展，原因可能来自三个方面：一是企业拥有的雄厚资金；二是云计算技术与企业应用及市场需求呈现出了紧耦合的发展；三是企业(特别是互联网企业)拥有足量的数据资源和计算资源。企业主导，也同时意味着传统先有理论后有应用，大学科研机构负责理论(学术)创新，企业负责应用创新(工程实践)的分工模式，在云计算与大数据领域基本不再适用。大学教育科研机构，特别是信息技术学科，需要调整自身角色来顺应这一趋势的发展。云计算领域提供了非常丰富的开源环境，例如OpenStack、Hadoop、Xen、 KVM等，互联网同时提供了数量庞大的信息技术文章，云计算厂商会提供免费或低价的试用软件或云计算环境，再加上不断出版更新的信息技术类书籍，这些资源构成了一个开放且实时更新的教学乃至实验环境，可以供广大学生学习和实践使用。未来大学对学生的培养工作可能将集中在四个方面：方向性的指导；综合技能的认证；给学生提供专心学习交流的环境；为学生搭建创新的平台。大学的信息技术类学科的科研机构，需要与企业和市场更加紧密的结合，双方共享数据，共享研发测试环境，专利交叉共享，项目收益共享。大学科研机构可侧重承担企业偏远期的云计算与大数据技术的开发，企业侧重承担近期应用技术开发，双方的界限会很模糊。在云计算时代，年龄、资历和职称都不再是科研创新的门槛，大学生可以广泛参与和承担云平台类产品应用开发，学生的自主创新成果(同时参照产品受市场欢迎的程度)将是个人能力认证的一个重要依据。希望本书的所有读者，在了解到云计算技术的同时，都能够积极地投身到云计算产业实践中来。只有更多的人认识到云计算的价值，才能挖掘出更多云计算的价值，云计算产业才会有源源不断的动力来蓬勃发展，相信读者中的很多人都将成为云计算产业的中坚力量。 李德毅中国工程院院士，国际欧亚科学院院士