云计算基础架构及关键应用

本书结合大数据近期新技术趋势和中兴通讯的长期实践，对大数据技术提出系统的理解，对大数据研究提供了初步的思路和建议。本书首先从大数据的需求和现状出发，分析目前大数据出现的问题，然后针对这些问题对大数据存储、大数据处理，以及大数据的可视化进行了充分的探索。

陆平，博士，不错工程师，中兴通讯云计算及政企业务产品总经理，主要从事云计算、大数据、增强现实、基于多媒体服务技术等方面的研究，是中国计算机协会CCF会员、服务计算专委、CCF大数据专家委员会委员、中国电子学会云计算专家委员会专家委员、江苏省云计算工程技术中心主任、江苏省大数据存储及应用重点实验室主任，主持和参与了国家科技重大专项、国家科技支撑计划、863专项、发改委企业专项、江苏省科技成果转化项目等多项省部级科研课题，获得过多项省部级科技进步奖，拥有20多项发明专利。撰写了《物联网能力开放与应用》和《云计算中的大数据技术与应用》等著作，在靠前外知名刊物上发表过多篇论文。

本书编委会
推荐序
前言
第1章云计算1
1.1云计算定义1
1.2云计算发展历史2
1.3云计算的特征3
1.4IT建设的云计算趋势4
1.5云计算模型6
1.6IaaS7
1.7计算虚拟化简介9
1.7.1计算虚拟化9
1.7.2计算虚拟化的作用10
1.7.3计算虚拟化解疑10
1.7.4计算虚拟化厂家12
1.8存储虚拟化简介13
1.8.1存储虚拟化13
1.8.2存储虚拟化的特点14
1.8.3自动精简配置14
1.8.4存储虚拟引擎15
1.9网络虚拟化简介15
1.9.1网络设备虚拟化15
1.9.2链路虚拟化16
1.9.3虚拟网络17
1.9.4基于SDN的网络虚拟化18
第2章计算虚拟化技术19
2.1计算虚拟化技术简介19
2.1.1Hypervisor虚拟化19
2.1.2容器虚拟化23
2.2KVM25
2.3Xen27
2.4VMware27
2.5Docker29
2.6计算虚拟化技术对比及应用场景32
2.7计算虚拟化与云管理平台的关联实现34
2.7.1Libvirt-KVM34
2.7.2Libvirt-Docker35
2.7.3XenAPI35
2.7.4VMwareDriver37
2.8小结40
第3章存储虚拟化技术41
3.1Ceph简介41
3.2Ceph的架构42
3.2.1RADOS集群存储节点43
3.2.2Librados库47
3.2.3RADOSGW48
3.2.4RBD49
3.2.5CephFS50
3.3Ceph和OpenStack50
3.4Ceph的部署51
3.4.1部署需要准备的系统环境51
3.4.2Ceph部署的步骤52
3.5分布式文件系统54
3.6Swift对象存储56
3.7存储网关技术57
3.8对象存储方案简介58
3.9小结62
第4章网络虚拟化技术63
4.1SDN架构简介63
4.1.1OpenFlow标准65
4.1.2OpenStack与SDN集成66
4.1.3OpenDaylight67
4.2OVS与LinuxBridge71
4.2.1OpenvSwitch虚拟网络71
4.2.2LinuxBridge74
4.3Overlay协议74
4.3.1VXLAN75
4.3.2NVGRE79
4.3.3VXLAN与NVGRE的异同81
4.4虚拟网络设备81
4.4.1Firewall81
4.4.2LoadBalance82
4.4.3DVR85
4.5小结86
第5章桌面&应用虚拟化87
5.1概述87
5.2桌面虚拟化89
5.2.1应用场景89
5.2.2系统架构&原理89
5.2.3关键技术90
5.3应用虚拟化100
5.3.1应用场景100
5.3.2实现原理101
5.3.3关键技术102
5.3.4典型厂商产品102
5.4VOI108
5.4.1基本概念108
5.4.2VDI&VOI比较108
5.5小结109
第6章云管理平台概述110
6.1主流云管理平台对比111
6.2OpenStack简介115
6.2.1OpenStack设计原理和体系结构115
6.2.2OpenStack社区和项目开发流程119
6.2.3OpenStack应用现状与发展趋势120
6.3OpenStack入门体验123
6.3.1初探OpenStack123
6.3.2创建OpenStack虚拟机实例124
6.3.3创建虚拟机流程概述126
第7章通用云平台部署130
7.1背景130
7.2公有云131
7.2.1概述131
7.2.2公有云典型服务132
7.2.3公有云平台比较134
7.3私有云138
7.3.1概述138
7.3.2建设私有云需要考虑的问题139
7.3.3基于OpenStack搭建私有云140
7.4混合云143
7.4.1概述143
7.4.2典型场景146
7.4.3主要挑战148
7.4.4架构151
7.4.5关键技术153
7.4.6混合云业务部署实践156
7.5小结158
第8章NFV云部署159
8.1NFV概述159
8.1.1NFV定义160
8.1.2与SDN的关系161
8.1.3NFV的技术基础162
8.1.4NFV的挑战162
8.2NFV架构164
8.2.1NFV架构框架164
8.2.2NFV典型用例168
8.3NFV关键组成170
8.3.1NFV基础设施170
8.3.2NFV管理和编排171
8.3.3NFV软件架构173
8.3.4NFV可靠性和可用性174
8.3.5NFV性能和可移植性175
8.3.6NFV安全175
8.4NFV性能提升关键技术176
8.4.1SR-IOV虚拟化技术176
8.4.2NUMA多通道处理178
8.4.3DPDK包处理技术178
8.5小结179
第9章业务链实现技术180
9.1概述180
9.2业务链基本概念180
9.3IETFSFC架构简介181
9.3.1SFC包解析182
9.3.2业务功能链的相关动作184
9.4云数据中心业务链实现方案185
9.4.1业务功能的创建过程186
9.4.2基于TrafficSteering进行业务链引流187
9.4.3API188
9.4.4业务链示例193
9.5小结194
第10章PaaS平台195
10.1?PaaS平台概述195
10.1.1PaaS定义195
10.1.2PaaS的功能与特点196
10.1.3PaaS的应用场景196
10.1.4业界开源PaaS平台197
10.2?CloudFoundry平台197
10.2.1CloudFoundry的功能和特点197
10.2.2CloudFoundry社区现状199
10.2.3CloudFoundry应用场景200
10.3CloudFoundry架构和功能200
10.3.1CloudFoundry架构201
10.3.2Router202
10.3.3UAA202
10.3.4CloudController203
10.3.5HealthManager203
10.3.6DEA203
10.3.7MessageBus204
10.3.8Metrics&Logging204
10.3.9Buildpack204
10.3.10ServiceBroker206
10.3.11CloudFoundryV1与CloudFoundryV2的区别207
10.4CloudFoundry工作机制207
10.5CloudFoundry应用部署与使用209
10.6CloudFoundryV3212
10.7CloudFoundry与容器213
10.7.1CloudFoundry的容器技术213
10.7.2Warden与Docker215
10.8CloudFoundry与OpenStack215
10.9小结217

前    言?Preface早在20世纪90年代，云计算就已作为一种全新的技术模型被提出，但直到2007年，才因Google、亚马逊等云计算先驱将其付诸商业实践并获得丰厚利润，而得到业界的广泛重视。和互联网、物联网等技术一样，云计算是电子信息技术和信息社会需求发展到一定阶段的必然产物。从2007年至今，云计算已经成为人们进行信息交互与存储的重要模式，并成为大数据处理和深度挖掘的主要平台。
    高盛研究在2015年的一份报告中指出，全球在云计算基础建设以及云平台上的花费将在2013～2018年间以年均30%的速率增长，而整个IT行业的预计增长仅有5%。面对这个蓬勃发展的市场，许许多多的咨询公司和研究机构都对其有着不同的预测。但是他们都一致认为，在全球范围内，云计算的发展正在加速。在巨大需求的刺激下，云计算核心得到快速发展，商业云计算与开源云计算技术在竞争同推进，而云计算与行业结合，也形成了形态各异、特色鲜明的电子政务云、教育云、医疗云、金融云、环保云、旅游云等云计算服务，云计算大数据的发展空间则更加广阔。
    中兴通讯在云计算方面有多年的技术积累和应用实践。本书结合云计算最新技术趋势和中兴通讯的长期实践，对云计算技术进行系统的讲解，对云计算实践提供思路和建议。本书首先从云计算的需求和现状出发，分析目前云计算出现的问题。针对这些问题分析了IaaS云管理平台、IaaS云平台部署，并对PaaS（平台即服务）等进行了充分的探索和讨论。
    本书由10章组成，各章主要内容如下。
    第1章介绍了云计算的发展历史、基本模型及发展趋势。后续3章则对于计算、存储、网络虚拟化的主要技术分别进行阐述。其中，第2章对KVM、Xen、VMware等主要Hypervisor虚拟化技术以及容器虚拟化技术进行介绍，并阐明两类技术之间的关联。第3章以Ceph为例介绍分布式文件系统、分布式块存储、存储网关等存储虚拟化技术。2012年，在SDN（软件定义网络）和OpenFlow大潮的进一步推动下，网络虚拟化再度成为热点，第4章重点介绍业界主流的一些虚拟网络设备或者新网络架构。第5章通过介绍各厂商桌面和应用虚拟化解决方案，让读者对虚拟桌面的发展有全面的了解。第6章对各主流云管理平台进行介绍及对比后，对OpenStack平台进行了重点介绍。对在不同时间、不同团队采用不同语言开发和构建的几十甚至几百个应用进行评估，考虑如何迁移到云计算环境，需要对现有IT基础框架有深刻的理解和认识，以及对各种云资源所能提供的功能等各种细节有深入了解。接下来，通过对通用云、NFV云等部署方式的阐述，帮助读者在具体的云实践中可以更加有的放矢。第7章剖析了私有云、公有云、混合云的优势、适合场景、关键技术等，并结合OpenStack介绍了其构建及部署方式。第8章系统地介绍了NFV的架构及关键技术组成。第9章对业务链实现技术加以介绍，包括基本概念、架构及具体实现。
    每一个新兴的计算技术都会迎来一个对应的新应用平台，在云计算时代，应用平台作为一种服务，通常被描述为平台即服务（PaaS）。第10章重点描述了PaaS平台的定义、应用场景以及功能与特点，并比较了业界主流的Cloud Foundry、OpenShift、Flynn、Deis、DINP等开源PaaS平台，为读者提供了选择开源PaaS平台的参考，另外介绍了PaaS平台Cloud Foundry的架构、工作机制及应用部署等知识。
    本书适合高校及科研院所云计算研究人员、云计算开发者和工程人员阅读参考。本书的编写，除了各位编委之外，还得到了王晔、陈俊、高洪、张恒生、江滢等同事的大力支持，在此表示感谢！由于作者水平所限，书中难免存在不足之处，敬请广大读者批评指正。