云计算导论

本书可作为高等院校云计算课程教材，也可作为云计算研究开发人员、爱好者的参考用书。

云计算是一个庞大的技术体系，刚开始学习云计算的读者很容易迷失在宏观的概念或特定的工具中，往往不得其门而入。本书从如何有效利用云的视角，以提问的方式梳理脉络和要点，带领读者登堂入室。区别于市面上侧重于宏观知识和概念介绍或者侧重于某一特定技术或工具讲解的云计算书籍，本书既不停留在远景，也不局限于某一技术和工具的细节，而是在对云计算的本质问题、基本原则、基本结构以及基本的云计算技能、应用实践方法方面下功夫，期冀能够帮助读者既对云计算的技术体系有全局观和深入认识，又能够动手实践掌握具体的技术并明白其背后的道理。

韩燕波，曾就职于德国国家计算机研究中心、德国弗郎霍夫软件技术研究所和美国大规模分布系统实验室等机构。2000年被聘为中科院计算技术研究所研究员，入选中科院海外杰出人才计划（中科院百人计划，2001期）。曾任中科院研究生院教授、博士生导师、中科院计算技术研究所网格与服务计算研究中心主任、软件集成与服务计算研究分中心主任、中德软件集成技术联合实验室主任。现任北方工业大学2级教授、北方工业大学云计算研究中心主任。兼任中国计算机学会服务计算专业委员会副主任、中国电子学会云计算专家委员会委员、大数据专委委员、计算机学报编委等。

第1章绪论1
1.1摩尔定律1
1.2云计算的出现3
1.3从领域应用需求看云计算5
1.3.1城市交通系统概述5
1.3.2信息处理基础设施需求6
1.3.3海量数据集成和处理的需求7
1.3.4多应用系统集成和协同的需求8
1.3.5传统技术面临的挑战10
1.4云计算能带来什么14
1.5如何尽快学好云计算15
1.6思考题16
第2章云计算初探17
2.1云计算的定义和基本特征17
2.2云计算的发展动因和沿革19
2.2.1计算模式的演变20
2.2.2互联网基础设施的演变21
2.2.3数据管理的演变22
2.2.4应用软件形态的演变24
2.2.5人机交互方式的演变25
2.3云基础设施体系架构与核心技术27
2.4搭建和使用云基础设施所要解决的核心问题29
2.5小结31
2.6思考题31
第3章如何实现连网设备的优化利用与弹性伸缩32
3.1引言32
3.2虚拟化33
3.2.1虚拟化的定义34
3.2.2虚拟化的历史沿革与分类35
3.3服务器虚拟化36
3.3.1核心概念36
3.3.2关键特性37
3.3.3面临的问题38
3.4服务器虚拟化关键技术39
3.4.1服务器虚拟化的实施过程39
3.4.2动态资源优化41
3.4.3虚拟机迁移42
3.5虚拟化资源环境建设与管理43
3.5.1虚拟化资源管理平台体系架构44
3.5.2虚拟化资源管理平台模块功能45
3.5.3虚拟化资源管理平台管理流程47
3.6小结48
3.7思考题49
第4章如何实现大规模数据的弹性存储50
4.1引言50
4.2弹性存储的核心问题51
4.2.1命名空间52
4.2.2元数据管理54
4.2.3故障和错误处理55
4.2.4性能和效率61
4.3HDFS62
4.3.1HDFS的目标和基本假设条件62
4.3.2HDFS体系架构63
4.3.3性能保障65
4.3.4访问接口68
4.4HDFS的管理与应用69
4.4.1基于命令行的管理与应用69
4.4.2基于JavaAPI的管理与应用73
4.5应用实例：视频文件管理系统76
4.5.1需求分析76
4.5.2系统设计77
4.5.3系统实现78
4.6小结82
4.7思考题82
第5章如何实现海量多元数据的高效管理83
5.1引言83
5.2NoSQL数据库84
5.2.1NoSQL数据库设计原理84
5.2.2NoSQL数据库数据模型86
5.2.3NoSQL数据库的数据划分技术90
5.2.4NoSQL数据库及其分类94
5.2.5NoSQL数据库的优势和劣势95
5.3HBase数据库系统99
5.3.1数据模型99
5.3.2系统架构101
5.3.3HBase访问接口106
5.4HBase的管理与应用106
5.4.1基于命令行的管理与应用106
5.4.2基于JavaAPI的管理与应用111
5.5应用实例：交通监控图片管理116
5.5.1需求分析116
5.5.2系统设计116
5.5.3系统实现117
5.6小结122
5.7思考题122
第6章如何实现大规模数据的并行分析与处理123
6.1引言123
6.2MapReduce的由来和原理124
6.2.1一个朴素的单词计数程序124
6.2.2多线程并行化单词计数程序124
6.2.3使用分块存储的单词计数程序125
6.2.4在多台计算机上并行运行的单词计数程序126
6.2.5MapReduce的提出127
6.2.6MapReduce的设计思想129
6.3MapReduce的开源实现――Hadoop131
6.3.1Hadoop运行环境131
6.3.2Hadoop工作流程132
6.3.3Hadoop作业运行机制133
6.4Hadoop中的数据类型和格式140
6.4.1文件输入141
6.4.2其他输入格式143
6.4.3输出格式143
6.5Hadoop编程案例143
6.5.1单词计数程序例子回顾143
6.5.2数据去重146
6.5.3数据排序149
6.6小结153
6.7思考题153
第7章如何利用云中的各类资源154
7.1引言154
7.2服务计算基础155
7.2.1服务的基本概念155
7.2.2SOA基本原理156
7.2.3Web服务的两种基本形态157
7.3云服务与一切皆服务的交付模式160
7.3.1云服务的定义和分类160
7.3.2XaaS与一切皆服务的交付模式162
7.3.3云服务案例163
7.4服务开发实践165
7.4.1Java与Web服务开发165
7.4.2SOAP服务开发实践166
7.4.3REST服务开发实践170
7.5小结172
7.6思考题172
第8章如何进行云应用开发173
8.1引言173
8.2面向多租户的云应用设计174
8.2.1多租户与应用交付模式174
8.2.2多租户应用的设计要求175
8.2.3多租户应用的实现方法176
8.2.4业界现状177
8.3基于服务组合的云应用开发方法178
8.3.1面向IT开发人员的服务组合178
8.3.2面向最终用户的服务组合187
8.4云应用的部署198
8.5小结201
8.6思考题202
第9章如何保证安全203
9.1引言203
9.2云基础设施安全204
9.2.1网络硬件安全204
9.2.2主机系统安全206
9.2.3安全管理209
9.3云数据安全211
9.3.1数据存储安全212
9.3.2数据访问安全213
9.3.3数据管理安全214
9.4云应用安全215
9.4.1用户认证215
9.4.2应用授权216
9.5云安全标准和法律法规219
9.6小结221
9.7思考题221
第10章综合实践：交通流量监控222
10.1引言222
10.2需求分析222
10.3基础环境搭建224
10.4数据准备228
10.5数据统计和索引233
10.6查询接口封装236
10.7应用界面开发238
10.8云应用开发总结239
10.9思考题241

附录AOpenStack的安装与配置242
A.1总体规划242
A.2操作系统准备243
A.3安装OPENSTACK组件244
A.4KEYSTONE的配置、运行与测试247
A.5GLANCE的配置、运行与测试249
A.6NOVA的配置、运行与测试251
A.7HORIZON的配置、运行与测试255
A.8安装与配置计算节点257
附录BHadoop的安装与配置261
B.1环境准备261
B.2配置在单节点（伪分布式）环境下运行HADOOP262
B.3在多节点（分布式）环境下运行HADOOP266
B.4运行WORDCOUNT词频统计程序269
附录CHBase的安装与配置272
C.1单机版272
C.2伪分布模式273
C.3完全分布模式274
参考文献277