云计算与大数据技术应用

本书全面介绍了云计算与大数据的基础知识和主要技术。全书共11章，主要内容包括云计算概述、大数据技术概述、虚拟化技术、数据中心、并行计算与集群技术、云存储技术、OpenStack、Hadoop、Spark、Storm以及云计算仿真，本书注重实用，实验丰富，理论紧密联系实际，使读者可以系统全面地了解云计算与大数据技术。本书可作为高等院校云计算、大数据相关课程的教材，也可以作为计算机相关专业的专业课或选修课教材，同时也可以作为从事云计算与大数据技术相关工作的人员的参考用书。

前言
第1章 云计算概述1
1.1 什么是云计算1
1.1.1 云计算的定义1
1.1.2 云计算的概念模型2
1.1.3 云计算的特点3
1.2 云计算技术发展背景3
1.3 典型的云计算基础架构7
1.4 云计算的主要服务模式9
1.4.1 基础设施即服务IaaS9
1.4.2 平台即服务PaaS10
1.4.3 软件即服务SaaS11
1.4.4 三种服务模式之间的关系12
1.5 云计算的主要部署模式13
1.6 云计算是商业模式的创新14
1.7 典型的云计算产品15
1.7.1 的AWS15
1.7.2 Windows Azure Platform16
1.7.3 IBM蓝云解决方案17
1.7.4 阿里云18
1.8 云计算技术的新发展20
1.9 我国的云计算产业现状23
1.9.1 政府推动云计算产业发展23
1.9.2 我国云计算产业高速发展24
习题25
第2章 大数据技术概述26
2.1 大数据技术的产生26
2.1.1 大数据的基本概念26
2.1.2 大数据产生的原因26
2.1.3 大数据概念的提出28
2.1.4 第四范式——大数据对科学研究产生的影响30
2.1.5 云计算与大数据的关系31
2.2 大数据的4V特征31
2.3 大数据的主要应用及行业推动力量32
2.3.1 大数据的主要应用32
2.3.2 企业推动大数据行业发展32
2.3.3 我国政府推动大数据行业发展33
2.4 大数据的关键技术34
2.5 典型的大数据计算架构35
习题35
第3章 虚拟化技术36
3.1 虚拟化技术简介36
3.1.1 虚拟化技术的概念36
3.1.2 虚拟化技术的分类38
3.1.3 虚拟化技术的优势和劣势42
3.1.4 虚拟化技术与云计算43
3.2 虚拟化技术原理43
3.2.1 虚拟机技术原理43
3.2.2 CPU虚拟化原理44
3.2.3 内存虚拟化原理46
3.2.4 网络虚拟化原理47
3.3 常见的虚拟化技术解决方案47
3.3.1 OpenStack47
3.3.2 KVM48
3.3.3 Hyper-V49
3.3.4 VMware49
3.3.5 Xen50
3.3.6 Docker51
3.4 常见虚拟化技术的应用实践52
3.4.1 虚拟化环境的搭建53
3.4.2 克隆虚拟机54
3.4.3 虚拟机做快照56
习题59
第4章 数据中心60
4.1 数据中心的概念60
4.1.1 数据中心的定义、作用及分类60
4.1.2 数据中心的发展历程61
4.1.3 数据中心的组成及建设原则65
4.1.4 云计算、大数据时代的数据中心发展趋势66
4.2 数据中心的基本单元——服务器66
4.3 数据中心选址69
4.4 数据中心的能耗69
4.4.1 数据中心能耗评估70
4.4.2 数据中心的主要节能措施71
习题72
第5章 并行计算与集群技术73
5.1 并行计算概述73
5.1.1 并行计算的概念73
5.1.2 并行计算的层次75
5.1.3 并行计算机的发展75
5.1.4 并行计算与分布式计算77
5.1.5 并行计算与云计算78
5.2 云计算基础架构——集群技术79
5.2.1 集群的基本概念79
5.2.2 集群系统的分类80
5.2.3 集群文件系统80
5.3 并行计算的分类81
5.3.1 按Flynn分类81
5.3.2 按应用的计算特征分类82
5.3.3 按结构模型分类83
5.4 并行计算相关技术84
5.4.1 并行计算的关键技术84
5.4.2 并行计算的性能估算86
5.5 并行程序设计——MPI编程87
5.5.1 MPI简介87
5.5.2 一个简单的MPI程序实现88
5.5.3 MPI消息90
5.5.4 MPI的消息传递过程90
5.5.5 MPI常用基本函数91
5.5.6 有消息传递的并行程序91
习题93
第6章 云存储技术94
6.1 云存储概述94
6.1.1 云存储的概念94
6.1.2 云存储系统的结构95
6.1.3 云存储的实现基础96
6.1.4 云存储的特性98
6.2 云存储与云计算99
6.3 云存储的应用100
6.3.1 个人级云存储的应用100
6.3.2 企业级云存储的应用100
6.4 云存储发展的关注点101
习题102
第7章 OpenStack——功能强大的IaaS平台103
7.1 OpenStack架构103
7.2 计算服务模块Nova104
7.3 网络服务模块Neutron107
7.3.1 Neutron的主要组件107
7.3.2 Neutron网络109
7.4 块存储服务模块Cinder110
7.5 对象存储服务模块Swift111
7.6 身份认证模块Keystone115
7.7 镜像模块Glance119
7.8 仪表盘服务模块Horizon121
7.9 监控计量服务模块Ceilometer122
习题123
第8章 Hadoop——分布式大数据开发平台124
8.1 Hadoop简介124
8.1.1 Hadoop与分布式开发技术124
8.1.2 Hadoop的体系架构125
8.1.3 Hadoop集群的架构127
8.2 分布式文件系统HDFS129
8.2.1 分布式文件系统概述129
8.2.2 HDFS的架构及读写流程131
8.3 分布式计算框架MapReduce133
8.3.1 MapReduce编程模型133
8.3.2 MapReduce数据流135
8.3.3 MapReduce任务运行流程136
8.4 列式数据库HBase138
8.4.1 HBase列数据库介绍139
8.4.2 理解HBase的表结构139
8.5 搭建Hadoop开发环境142
8.5.1 相关准备工作143
8.5.2 JDK的安装配置143
8.5.3 下载、解压Hadoop并配置Hadoop环境变量144
8.5.4 修改Hadoop配置文件145
8.5.5 将配置好的Hadoop文件复制到其他结点并格式化146
8.5.6 启动、停止Hadoop146
8.5.7 运行测试程序WordCount147
习题148
第9章 Spark—基于内存的大数据计算框架149
9.1 Spark概述149
9.2 Spark的运行机制150
9.3 Spark的运行模式152
9.3.1 Standalone模式153
9.3.2 Spark Yarn模式153
9.3.3 Spark Mesos模式157
9.4 Spark RDD157
9.4.1 RDD的特点157
9.4.2 RDD的创建158
9.4.3 RDD基本操作160
9.4.4 RDD持久化（缓存）162
9.4.5 Spark共享变量163
9.5 Spark生态系统165
9.5.1 Spark SQL165
9.5.2 Spark Streaming166
9.5.3 GraphX169
9.5.4 MLlib172
习题173
第10章 Storm——基于拓扑的流数据实时计算框架174
10.1 Storm简介174
10.2 Storm原理及其体系架构177
10.2.1 Storm编程模型原理177
10.2.2 Storm体系架构178
10.3 Storm-Yarn简介180
10.3.1 Storm-Yarn的产生背景180
10.3.2 Storm-Yarn的体系架构180
10.4 搭建Storm开发环境181
10.4.1 Storm安装说明182
10.4.2 Storm安装步骤182
10.4.3 Storm设置185
10.4.4 Storm的启动186
10.4.5 Storm的常用操作命令186
10.5 Storm应用实践187
10.5.1 使用Maven管理storm-starter187
10.5.2 WordCountTopology源代码分析190
习题193
第11章 云计算仿真194
11.1 云计算仿真系统——CloudSim194
11.1.1 CloudSim基础194
11.1.2 CloudSim的体系结构195
11.2 CloudSim的模型使用场景197
11.3 CloudSim应用实践198
11.3.1 准备环境198
11.3.2 数据中心仿真实例199
11.3.3 网络仿真实例204
习题207
参考文献208