企业私有云建设指南

（1）作者在云计算、系统架构和运维领域工作多年，在OpenStack、VMWare以及私有云等各种云计算平台下，有丰富的实践经验。（2）本书得到了9位云计算领域的人物和技术专家的高度评价。（3）给出了基于商业的VMWare和开源的OpenStack两种平台下的私有云建设方案，满足各类读者需求。（4）从技术选型、规划和建设、设计和部署、平台建设和管理、实践、成熟度评估6个维度展现私有云建设的全景图。

内容简介这是一部全面的、以实践为导向的企业私有云建设指南，内容严谨、语言平实，匠心之作。作者是云计算、系统架构和运维领域的专家，基于VMWare和OpenStack两种解决方案，从技术选型、规划和建设、设计和部署、平台建设和管理、实践、成熟度评估6个维度对私有云的建设展开了全景式的讲解。全书一共10章：章总结性地介绍了云计算的参考架构、典型解决方案架构和涉及的关键技术；第2章从需求分析入手，详细讲解了私有云的技术选型，以及资源管理、监控和运维；第3章从计算、网络、存储资源池等方面讲解了私有云的规划和建设，以及私有云建设的总体原则。第4~5章分别讲解了基于开源的OpenStack和商业的VMWare的私有云设计与部署，从计算资源、网络资源、存储资源、系统架构、高可用实现、备份和容灾、不错扩展等方面私有云建设应遵循的实践原则和经验；第6章 从产品设计和架构设计两个方面阐述了企业私有云设计的通用原则。第7章以企业私有云平台的设计原则和建设思路开篇，从架构设计、部署和管理、容器与容器云建设、灾备建设与管理、服务与安全、运维与效益分析等各个方面完整诠释了私有云平台的建设和管理，融入了很多的技术理念和设计思想。第8章以Kolla交付方式为基础，从技术规划、部署运维、日志监控、二次开发和升级扩容等多个维度介绍了Openstack私有云的实践。第9章从VMWare的SDN、SDS和SRM容灾规划设计三个方面，总结了大量的实践和部署方案。0章介绍了私有云成熟度评估的模型、方法和案例，包括技术成熟度评估、管理成熟度评估和成熟度效果评估等内容。

作者简介孙杰（Sun Jie）云计算技术专家、架构师和运维专家，云计算开源产业联盟OSCAR社区核心专家成员。在系统、运维、云计算和数据中心管理等领域有10余年工作经验，先后在外企、互联网、电商、大型企业任职，在若干大中型项目的建设、部署和运维中，积累了丰富的架构设计和项目实施经验。红帽RHCE认证系统工程师、Oracle认证OCP、VMware认证VCP以及OpenStack认证工程师。多次受邀出席优选云计算峰会、可信云大会、GOPS优选运维大会等技术会议并发表演讲，广获好评。山金孝（Warrior）云计算技术专家，现就职于招商银行，曾就职于IBM。在云计算、大数据、容器及其编排技术、机器学习和人工智能领域有丰富的研究和实践。靠前较早接触OpenStack的一线技术专家，长期致力于OpenStack私有云的研究、实践和布道，OpenStack社区金融工作组成员，著有畅销书《OpenStack高可用集群》（上下册）。曾参与移动、电信、联通、招行、国家电网和长安汽车等多家大中型国有企业的高可用业务系统和私有云计算平台的设计与实施，在企业私有云建设、系统容灾和高可用集群建设上具有多年的项目实施经验。此外，他还是IBM认证的不错技术专家、DB2不错DBA，Oracle认证的OCP以及RedHat认证的系统工程师，在靠前外核心期刊发表CVPR论文多篇。张亮云计算技术专家、架构师和运维专家，在 IT 基础架构和数据中心运维领域有15年从业经验。中国开源云联盟成员，致力于在靠前推动面向Openstack和Docker的标准化和普及工作。曾就职于IBM和数人云，在IBM担任云计算架构师和数据中心运维管理咨询顾问；在数人云担任解决方案VP，推动靠前传统企业使用新型基于容器的云计算架构。上海复旦大学软件工程学院特聘教师，作为MSE顾问，开设了《数据中心管理》和《云环境下大规模应用运维》课程。张婷婷中国移动通信研究院云计算不错研究员，中国云计算开源联盟私有云成熟度评估项目组组长。在云计算领域深耕多年，熟悉企业级私有云规划建设方案的制定。负责中国移动云计算演进规划、技术架构、方案设计和规范制定等工作，参与多个千余节点的大规模私有云资源池建设。对开源架构以及云计算运营、运维管理方法等有深入理解，申请云计算技术专利近10个，开创靠前少有云计算量化成熟度评估体系，在靠前外标准化组织中推广应用。

序1序2序3序4序5前言引言 1第1章企业信息化与云计算架构和关键技术 21.1企业信息化发展的阶段和转型重点 21.1.1  企业信息化发展的三个阶段 21.1.2  企业信息化转型的六个重点 41.2  云计算参考架构 61.3典型的云计算解决方案架构 101.3.1  IaaS架构 111.3.2  PaaS架构 121.3.3  SaaS架构 171.4  云计算涉及的关键技术 181.5  小结 22第2章  企业云计算涉及的技术选型和管理 232.1  企业私有云建设需求分析 232.2  企业私有云技术路线选择 242.3  计算资源管理 262.3.1  VMware 262.3.2  OpenStack 292.4  存储资源管理 342.4.1  VMware 342.4.2  OpenStack 372.5  网络资源管理 422.5.1  VMware 422.5.2  OpenStack 432.6  监控管理 442.6.1  监控指标的设定和调整优化 442.6.2统一运维监控平台和告警处理 482.7  运维管理 492.7.1  IT运维流程与规范 492.7.2自动化运维工具 512.7.3  云环境下的新型IT运维体系 522.8  云服务管理 532.8.1  云服务的分类 532.8.2  云服务的建设 552.8.3  云服务质量评估 552.8.4  云服务安全性和法规遵从 572.9  小结 57第3章企业需求分析和私有云资源规划及设计 583.1  企业信息技术需求分析 583.1.1  基础设施需求 583.1.2  系统灾备需求 603.1.3  业务信息系统需求 613.1.4  数据与标准化需求 623.2  企业私有云资源规划及设计 633.2.1  企业应用软件模式划分 633.2.2  企业私有云建设的总体原则 633.2.3  云管理平台设计 643.2.4  网络资源池设计 663.2.5  计算资源池设计 673.2.6  存储资源池设计 693.2.7  如何开始业务的上云迁移 733.2.8  设备的利旧 763.3  小结 77第4章OpenStack私有云设计与部署 784.1  计算资源 794.1.1  物理服务器与裸机 794.1.2  Hypervisor与虚拟机 834.1.3  Docker与容器 854.2  存储资源 864.2.1  块存储 884.2.2  对象存储 914.2.3  文件存储 924.3  网络资源 934.3.1  物理网络 964.3.2  虚拟网络 974.4  高可用部署与备份容灾 1014.4.1  高可用部署 1014.4.2  备份与恢复 1084.4.3  异地容灾 1104.5  其他 1134.5.1  多租户支持 1134.5.2  规模性支持 1154.5.3  混合云支持 1164.5.4  云安全 1174.6  小结 117第5章  VMware私有云设计与部署 1185.1  私有云整体设计 1185.1.1  设计要点和建设思路 1185.1.2  架构概览 1225.2  vSphere体系架构 1245.2 1基于vSphere的数据中心私有云基础架构 1245.2.2  ESXi体系结构 1255.2.3  资源分配方式 1305.3  计算资源规划设计与部署 1315.3.1  物理服务器部署与管理 1315.3.2  虚拟机规划与部署 1335.4  存储资源规划 1345.4.1  共享存储逻辑规划 1355.4.2  存储空间规划 1365.4.3  存储分层规划 1375.4.4  数据存储集群规划 1375.4.5  分布式存储规划 1385.5  网络资源规划 1395.5.1  虚拟交换机规划 1405.5.2  物理服务器网卡绑定 1415.5.3  网络I/O控制（NIOC） 1425.5.4  无代理终端安全防护 1435.6  集中式管理规划 1465.7  高可用部署与备份及容灾 1485.7.1  高可用部署 1485.7.2  备份与恢复 1495.7.3  灾难恢复 1525.8  高级扩展功能 1585.8.1  vMotion 1595.8.2  DRS 1615.8.3  HA 1645.8.4  FT 1705.8.5  大数据平台 1725.8.6  容器应用 1755.8.7  VMware PKS容器管理平台 1775.9  小结 178第6章企业私有云设计的通用原则 1796.1  产品设计通用原则 1806.2  架构设计通用原则 1826.3  小结 185第7章企业私有云平台建设和管理 1867.1企业私有云平台设计原则和建设思路 1867.1.1  设计原则 1867.1.2  建设思路 1877.2  架构设计 1887.2.1  云平台概述 1887.2.2  云平台分层架构 1887.3  部署和管理 1907.3.1  云平台的部署 1907.3.2  云资源管理 1917.3.3  配置与合规性管理 1927.3.4  流程管理 1947.3.5  监控管理 1957.3.6  容量管理 1957.3.7  存储管理 1967.3.8  租户和权限 1977.3.9  接口设计 1987.3.10  生命周期管理 1997.3.11  计费管理 1997.3.12  多云管理 1997.4  容器与容器云建设 2017.4.1  容器技术的兴起 2017.4.2企业容器云建设需要遵循的原则 2017.4.3  容器云技术的产品选型 2027.4.4  容器云建设的几个关键点 2037.4.5容器与OpenStack和Kubernetes集成的能力 2077.5  灾备建设与管理 2077.5.1  灾备建设的意义 2077.5.2  灾备规划与分析 2087.5.3  灾备的级别和等级划分? 2107.5.4  设计整合的架构 2117.5.5  灾备测试 2127.6  服务与安全 2137.6.1  云服务 2137.6.2  云安全 2187.7  运维与效益分析 2207.7.1  运维技术的发展 2207.7.2一体化智能运维管理平台的构建 2217.7.3  云平台效益分析 2237.8  小结 224第8章企业私有云OpenStack最佳实践 2258.1  自动化与DevOps 2258.2  中心化日志监控与可视化 2268.2.1  中心化日志监控与检索 2268.2.2  性能数据监控与可视化 2288.2.3  网络监控与可视化 2298.3OpenStack私有云容器化部署技术规划 2308.3.1  Docker存储驱动 2308.3.2  Docker容器存储卷 2318.3.3  集群环境清除 2318.3.4  自定义配置部署 2328.3.5  自定义镜像编译 2328.4OpenStack容器化私有云部署最佳实践 2338.5OpenStack容器化私有云二次开发最佳实践 2368.6OpenStack容器化私有云扩容升级最佳实践 2398.6.1OpenStack集群扩容最佳实践 2398.6.2OpenStack集群升级最佳实践 2408.7  小结 242第9章企业私有云VMware最佳实践 2439.1VMware软件定义网络之规划设计与实践 2439.1.1  物理网络规划设计 2439.1.2  数据中心访问层规划设计 2489.1.3  各功能模块规划设计 2569.1.4NSX-V、NSX-MH和NSX-T 2639.1.5  NSX与OpenStack的集成 2669.1.6  NSX总结 2669.2VMware软件定义存储之规划设计与实践 2679.2.1  软件定义存储方案概括 2679.2.2  应用于关键应用的方案框架 2689.2.3应用于虚拟桌面场景的方案框架 2699.2.4应用于二、三层应用或测试和开发的方案框架 2709.2.5  应用于灾备的方案框架 2719.2.6  VSAN规划设计细则 2739.2.7  VSAN部署最佳实践 2779.3SRM容灾规划设计与最佳实践 2799.3.1  灾难恢复的重要意义 2799.3.2  SRM简介 2819.3.3  容灾设计要求 2819.3.4  实施方案选择 2829.3.5  网络设计 2849.3.6  存储设计 2879.3.7  配置清单及说明 2889.3.8  SRM容灾总结 2889.4  小结 289第10章企业私有云通用能力成熟度评估 29010.1  成熟度评估概念和模型 29010.1.1  成熟度评估模型 29010.1.2  私有云成熟度发展阶段 29210.1.3  应用场景及适用性 29310.1.4  评估方法 29510.2  技术成熟度评估 29510.2.1  云服务规划技术 29510.2.2  云资源提供技术 29710.2.3  云服务管理技术 30110.2.4  云安全技术 30210.3  管理成熟度评估 30310.3.1  云服务规划管理 30310.3.2  云资源提供 30510.3.3  云服务管理 30510.3.4  云安全管理 30610.4  成熟度效果评估 30610.4.1  云服务规划 30610.4.2  云资源提供 30810.4.3  云服务管理 31010.4.4  云安全效果 31110.5  成熟度评估实践案例 31110.6  小结 313

为什么写这本书2006年8月，Google在业界首次提出“云计算”（Cloud Computing）的概念；同年亚马逊相继推出在线存储服务S3和弹性计算云EC2等云服务。至今云计算已走过了十年，已是“凡人饮水处，皆言云计算”。共享、敏捷和创新是互联网时代下企业信息化建设最大的转变。云计算则以其对软硬件资源统一管控、服务化的资源快速供给等特性为企业信息化建设构造新生态、产出新效能、实现新跨越提供了重要的平台基础，因此成为国家扶持的战略性新兴产业之一。通过云计算，消费者无须关注底层的IT技术，仅需要在云生态环境中选取所需的服务来实现自身的业务目标即可。云计算的飞速发展极大地改变了企业原有的IT建设模式，也带动了依托于IT资源的各类新兴产业爆发式发展，诸如大数据、人工智能、O2O、物联网等。云计算的核心可以用五大基本特征、三种服务模式以及四类部署模式来概括：五大基本特征是按需的自助服务、广泛的网络访问、资源池化、快捷的弹性伸缩以及可度量的服务；三种服务模式为基础架构即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）；四类部署模式可以划分为私有云（专有云）、行业云、公有云以及混合云。我们可以看到，在以AWS、Google、阿里等为代表的公有云大力发展的同时，很多大型企业出于数据安全性、系统稳定性、软硬件自主权，以及对自主可控和TCO低的考虑，更加倾向于建设企业私有云来承载内部业务信息系统的运行。然而构建企业私有云并非一蹴而就，正如Gartner的副总裁Tom Bittman所述：“?部署私有云并不是简单地对硬件进行采购，而是一场革新。”对于不同的行业和不同类型的企业，在建设私有云时都有不同的需求和关注点，但总体上来说可选择基于商业的VMware和基于开源的OpenStack两种不同的解决方案，至于是选择商用还是开源云平台，这需要企业综合考虑，权衡利弊，依据企业自身技术能力、资金投入总量、实现业务效果等方面考虑云平台技术的选型，所以没有好与不好，而是能否适用和用的好。在本书确定选题、收集资料、写作修改到最后定稿的整个过程中，既充满挑战、备受压力，也饱含乐趣。首先应该感谢的是尊敬的云技术社区创始人肖力先生。肖老师为人正直、学识渊博、治学严谨，使笔者受益匪浅。也正是在云技术社区，笔者认识了山金孝、刘世民、张亮等业内专家，我们一起愉快地讨论技术，才有了写作本书的想法。也正是在机械工业出版社华章公司的杨福川老师的关心和促成下，笔者才能顺利完成本书，在此要向福川表达深深的谢意。本书的主要内容和特色本书立足现实、面向未来，从云技术选型、设计到平台建设和管理等方面，结合商业的VMware和开源的OpenStack解决方案，全面剖析当下企业私有云建设的各方面实践情况，展现企业私有云的建设图景，希望对读者有所帮助。读者对象准备进入云计算领域的学生或者初级读者：阅读本书可以快速了解企业私有云建设全景，从而少走一些弯路。已经进入云计算领域并且有一定相关知识背景或认知的读者：相信本书的一些实践可以给他们的实际工作带来一些启发。从事售前工作的读者：通过阅读本书中来自一线的实践，可以为用户创造更多价值。企业IT管理者：通过阅读本书可以了解私有云的架构设计和技术，有助于IT选型和决策。如何阅读本书阅读本书之前，读者应该具备一定的虚拟化、SAN或软件定义网络、软件定义存储，以及Linux系统运维和高可用等相关方面的基础知识。本书共分为10章。第1章从企业信息化的角度，结合云计算的架构和关键技术，讨论了企业信息化建设在理念、模式及评价标准等方面发生的重大变化。同时鲜明地指出面对新变化和数字化转型，企业未来的信息化应用不能再沿用原有的发展模式，而是要突破发展惯性和厂商依赖，顺应时代潮流，不断探索新技术，不断创新发展，自主可控地融入大的生态，才能实现持续发展和基业长青。第2章从企业私有云建设的需求分析入手，结合技术路线选择和资源管理、监控与运维，简明扼要地讨论了私有云的建设和管理。第3章从计算、网络、存储资源池等方面描述了企业私有云的规划和建设。第4章重点介绍了企业在OpenStack私有云建设中的设计和部署实践，并从计算资源、存储资源、网络资源，以及私有云相关的高可用实现、备份容灾实现等方面阐述了企业OpenStack私有云建设应遵循的实践原则，同时介绍了OpenStack在多租户支持、规模性支持、混合云支持和安全性等方面的现状和进展。第5章重点介绍了企业在VMware私有云建设中的整体设计与部署，并从VMware vSphere体系架构、计算资源、存储资源、网络资源，以及私有云相关的高可用实现、备份容灾实现、高级扩展功能等方面阐述了企业VMware私有云建设应遵循的参考实践，同时介绍了VMware在大数据平台、容器应用、PKS容器管理平台等方面的现状和进展。第6章从产品设计和架构设计两方面阐述了企业私有云设计的通用原则。第7章从企业私有云平台的设计原则和建设思路谈起，贯穿架构设计、部署和管理、容器与容器云建设、灾备建设与管理、服务与安全、运维与效益分析等各个方面，完整诠释了企业云技术平台的建设和管理，融入了很多技术理念和设计思想，希望能给大家带来启发和思考。第8章以容器部署方式为基础，从技术规划、部署运维、日志监控、二次开发和升级扩容等多个维度介绍了OpenStack私有云的最佳实践。通过本章的阅读，读者应能采用Kolla项目实现OpenStack私有云，同时对其进行简单的管理维护和使用。第9章从VMware软件定义网络、软件定义存储和SRM容灾规划设计三个方面描绘了企业私有云环境下的应用场景，介绍了一些最佳实践和部署方案。通过本章的阅读，读者可采用这些实践推荐的方法更好地管理自己的私有云，同时对其进行深入的管理维护和使用。第10章从私有云成熟度评估的角度，阐述了企业“建云”只是一切的开始，在“用云”和“上云”的过程中，需要将云化的思想深植于企业文化中。通过评估寻找差距、定位问题，通过持续优化和改进，迭代前进，小步快走，这样才能使企业通过私有云的建设和应用真正发挥IT转型的价值和意义。勘误和资源在本书的写作过程中，笔者参考了很多VMware官方社区的资料和OpenStack社区的文档与视频，同时也参考了很多技术专家的经验分享，希望能为广大云计算从业者呈现一本涵盖基础理论与最佳实践的参考书籍。但是由于技术变化之快，加之笔者水平有限，书中难免存在技术延后和谬误观点，若书中有任何不妥之处，恳请读者批评指正。读者可将意见发送至邮箱xjsunjie@126.com进行反馈。致谢感谢瑞飞的领导和兄弟们，包括杨剑锋书记、陆春阳副总经理、安向哲副总经理、付长春、娄宏骏、杜广源、王立福、王茜、李萍、马军、张靓、蔺田、丁永利、刘可欣、梁书豪、吴远英，还有一些未提到的兄弟姐妹，你们在工作和生活上的帮助和指导让我受益良多，非常感谢！感谢VMware的技术专家伍万力先生分享了很多专业资料，并从专业的角度对本书提出了宝贵意见，从而使本书的知识描述更加严谨而准确。感谢中国移动研究院的张婷婷为本书编写了第10章内容，从而使本书的内容体系更加完善。感谢机械工业出版社华章公司的杨福川先生和李艺女士，正是因为你们的付出和关心、帮助才有了本书的问世。感谢云星数据副总裁楼炜在多云管理方面经验的无私分享，让技术因分享更有力量！此外，还要特别感谢我的爱人刘淅萍，她的鼓励和支持让我愉快地度过了这段难熬的写作时光。感谢帮我校正文字和排版的于潼，谢谢你辛勤的付出。孙  杰