云计算与大数据技术 第2版·微课视频·题库版

本书注重云计算与大数据基本概念的讲解,以案例的方式梳理知识脉络和要点,提供综合云计算实验案例及丰富的配套资源。

本书在阐述云计算和大数据关系的基础上，介绍了云计算和大数据的基本概念、技术及应用。全书内容分为三部分。第一部分为云计算理论与技术，第1~5章讲述云计算的概念和原理，包括云计算的概论、基础、机制、虚拟化和应用。第二部分为大数据理论与技术，第6~9章讲述大数据概述及基础，包括大数据概念和发展背景、大数据系统架构概述、分布式通信与协同、大数据存储； 第10~15章讲述大数据处理，包括分布式处理、Hadoop MapReduce解析、Spark解析、流计算、集群资源管理与调度、机器学习。第三部分为综合实践，第16~22章由多个实验和案例组成。
本书结合实际应用及实践过程来讲解相关概念、原理和技术，实用性较强，适合作为本科院校计算机、软件工程、云计算、大数据及信息管理等相关专业的教材，也适合计算机爱好者阅读和参考。

第一部分云计算理论与技术
第1章云计算概论
1.1什么是云计算
1.2云计算的产生背景
1.3云计算的发展历史
1.4如何学好云计算
1.5小结
习题
第2章云计算基础
2.1分布式计算
2.2云计算的基本概念
2.3分布式计算和云计算的区别与联系
2.4云计算的关键技术
2.4.1分布式海量数据存储
2.4.2虚拟化技术
2.4.3云管理平台技术
2.4.4并行编程技术
2.4.5数据管理技术
2.5云交付模型
2.5.1SaaS
2.5.2PaaS
2.5.3IaaS
2.5.4基本云交付模型的比较
2.6云部署模式
2.6.1公有云
2.6.2私有云
2.6.3混合云
2.7云计算的优势与挑战
2.8典型的云应用
2.8.1云存储
2.8.2云服务
2.8.3云物联
2.9云计算与大数据
2.10小结
习题
第3章云计算机制
3.1云基础设施机制
3.1.1虚拟网络边界
3.1.2虚拟服务器
3.1.3云存储设备
3.1.4就绪环境
3.2云管理机制
3.2.1远程管理系统
3.2.2资源池化管理
3.2.3服务等级协议管理系统
3.2.4计费管理系统
3.2.5资源备份
3.2.6云监控
3.2.7自动化运维
3.2.8服务模板管理
3.2.9云CMDB及流程管理
3.2.10服务目录管理
3.2.11租户及用户管理
3.2.12容量规划及管理
3.3特殊云机制
3.3.1自动伸缩监听器
3.3.2负载均衡器
3.3.3故障转移系统
3.3.4资源集群
3.3.5多设备代理
3.3.6状态管理数据库
3.4小结
习题
第4章虚拟化
4.1虚拟化简介
4.1.1什么是虚拟化
4.1.2虚拟化的发展历史
4.1.3虚拟化带来的好处
4.2虚拟化的分类
4.2.1服务器虚拟化
4.2.2网络虚拟化
4.2.3存储虚拟化
4.2.4应用虚拟化
4.2.5技术比较
4.3系统虚拟化
4.4虚拟化与云计算
4.5开源技术
4.5.1Xen
4.5.2KVM
4.5.3OpenVZ
4.6虚拟化未来的发展趋势
4.7小结
习题
第5章云计算的应用
5.1概述
5.2亚马逊公司的弹性计算云
5.2.1开放的服务
5.2.2灵活的工作模式
5.2.3带来的好处
5.3MicrosoftAzure
5.3.1简介
5.3.2MicrosoftAzure的架构
5.3.3MicrosoftAzure服务平台
5.3.4开发步骤
5.4谷歌公司的云计算平台与应用
5.4.1MapReduce分布式编程环境
5.4.2分布式大规模数据库管理系统BigTable
5.4.3谷歌的云应用
5.5阿里云
5.5.1简介
5.5.2阿里云的主要产品
5.6IBM公司的蓝云云计算平台
5.6.1蓝云云计算平台中的虚拟化
5.6.2蓝云云计算平台中的存储结构
5.7清华大学的透明计算平台
5.8小结
习题
第二部分大数据理论与技术
第6章大数据概念和发展背景
6.1什么是大数据
6.2大数据的特点
6.3大数据的发展
6.4大数据的应用
6.5小结
习题
第7章大数据系统架构概述
7.1总体架构概述
7.1.1总体架构设计原则
7.1.2总体架构参考模型
7.2运行架构概述
7.2.1物理架构
7.2.2集成架构
7.2.3安全架构
7.3主流大数据系统厂商
7.3.1Cloudera
7.3.2Hortonworks
7.3.3亚马逊
7.3.4谷歌
7.3.5微软
7.3.6阿里云数加平台
7.4小结
习题
第8章分布式通信与协同
8.1数据编码传输
8.1.1数据编码概述
8.1.2LZSS算法
8.1.3Snappy压缩库
8.2分布式通信系统
8.2.1远程过程调用
8.2.2消息队列
8.2.3应用层多播通信
8.2.4HadoopIPC应用
8.3分布式协同系统
8.3.1Chubby锁服务
8.3.2ZooKeeper
8.3.3ZooKeeper在HDFS高可用中使用
8.4小结
习题
第9章大数据存储
9.1大数据存储技术的发展
9.2海量数据存储的关键技术
9.2.1数据分片与路由
9.2.2数据复制与一致性
9.3重要数据结构和算法
9.3.1BloomFilter
9.3.2LSM树
9.3.3Merkle哈希树
9.3.4Cuckoo哈希
9.4分布式文件系统
9.4.1文件存储格式
9.4.2GFS
9.4.3HDFS
9.5分布式数据库NoSQL
9.5.1NoSQL数据库概述
9.5.2KV数据库
9.5.3列式数据库
9.5.4图数据库
9.5.5文档数据库
9.6HBase数据库搭建与使用
9.6.1HBase伪分布式运行
9.6.2HBase分布式运行
9.7大数据存储技术的趋势
9.8小结
习题
第10章分布式处理
10.1CPU多核和POSIXThread
10.2MPI并行计算框架
10.3HadoopMapReduce
10.4Spark
10.5数据处理技术的发展
10.6小结
习题
第11章HadoopMapReduce解析
11.1HadoopMapReduce架构
11.2HadoopMapReduce与高性能计算、网格计算的区别
11.3MapReduce工作机制
11.3.1Map
11.3.2Reduce
11.3.3Combine
11.3.4Shuffle
11.3.5SpeculativeTask
11.3.6任务容错
11.4应用案例
11.4.1WordCount
11.4.2WordMean
11.4.3Grep
11.5MapReduce的缺陷与不足
11.6小结
习题
第12章Spark解析
12.1SparkRDD
12.2Spark与MapReduce对比
12.3Spark工作机制
12.3.1DAG工作图
12.3.2Partition
12.3.3Lineage容错方法
12.3.4内存管理
12.3.5数据持久化
12.4数据读取
12.4.1HDFS
12.4.2AmazonS3
12.4.3HBase
12.5应用案例
12.5.1日志挖掘
12.5.2判别西瓜好坏
12.6Spark的发展趋势
12.7小结
习题
第13章流计算
13.1流计算概述
13.2流计算与批处理系统对比
13.3Storm流计算系统
13.4Samza流计算系统
13.5集群日志文件实时分析
13.6流计算的发展趋势
13.7小结
习题
第14章集群资源管理与调度
14.1集群资源统一管理系统
14.1.1集群资源管理概述
14.1.2ApacheYARN
14.1.3ApacheMesos
14.1.4GoogleOmega
14.2资源管理模型
14.2.1基于slot的资源表示模型
14.2.2基于优选最小公平原则的资源分配模型
14.3资源调度策略
14.3.1调度策略概述
14.3.2CapacityScheduler调度
14.3.3FairScheduler调度
14.4YARN上运行计算框架
14.4.1MapReduceonYARN
14.4.2SparkonYARN
14.4.3YARN程序设计
14.5小结
习题
第15章机器学习
15．1机器学习概述
15．1．1关键术语
15．1．2机器学习的分类
15．1．3机器学习的模型构造过程
15．2监督学习
15．2．1线性回归
15．2．2逻辑斯特回归
15．2．3最小近邻法
15．2．4线性判别分析法
15．2．5朴素贝叶斯分类算法
15．2．6决策树分类算法
15．2．7支持向量机分类算法
15．3非监督学习
15．3．1划分式聚类方法
15．3．2层次化聚类方法
15．3．3基于密度的聚类方法
15．4强化学习
15．4．1强化学习VS监督学习和非监督学习
15．4．2强化学习问题描述
15．4．3强化学习问题分类
15．5神经网络和深度学习
15．5．1感知器模型
15．5．2前馈神经网络
15．5．3卷积神经网络
15．5．4其他类型结构的神经网络
15．6案例：银行贷款用户筛选
15.7小结
习题
第三部分综合实践
第16章实验：AWS
16.1实验一：创建一个EC2实例
16.2实验二：创建一个弹性高可用的博客
16.3实验三：使用S3来实现静态网站
16.4实验四：AWS关系型数据库入门
16.5实验五：AWS大数据系列平台
16.6实验六：AWS计算存储网络基础入门
16.7实验七：AWS上的Kubernetes创建、管理及DevOps
第17章实验：阿里云
17.1实验一：创建阿里云服务器
17.2实验二：配置SSH远程连接
17.3实验三：安装Python环境
17.4实验四：部署并启动Django服务
第18章实验：Docker
18.1Docker的核心概念
18.2实验一：Docker的安装
18.3实验二：容器操作
18.4实验三：搭建一个Docker应用栈
18.5实验四：实现私有云
第19章实验：Hadoop、HDFS、MapReduce、Spark
19.1Hadoop
19.1.1实验一：构建虚拟机网络
19.1.2实验二：大数据环境安装
19．2HDFS
19．2．1实验一：文件创建与读/写
19．2．2实验二：文件上传
19．2．3实验三：文件下载
19．2．4实验四：使用字符流读取数据
19．2．5实验五：删除文件
19．2．6实验六：删除文件夹
19．2．7实验七：自定义数据输入流
19．3MapReduce
19．3．1实验一：合并去重
19．3．2实验二：PageRank算法
19．4Spark
19．4．1实验一：安装Spark
19．4．2实验二：使用SparkShell编写代码
19．4．3实验三：使用Java编写Spark应用程序
第20章案例：基于Docker的云计算服务平台搭建
20．1方案介绍
20．1．1云平台总体架构
20．1．2网络架构
20．1．3集群架构
20．1．4性能监控
20．1．5Docker架构
20．1．6镜像架构
20．2系统分析
20．2．1优点
20．2．2局限性
20．2．3应用场景
20．3门户界面
20．3．1注册
20．3．2登录
20．3．3用户主界面
20．3．4管理员界面
20．4服务器Docker配置
第21章案例：使用Spark实现数据统计分析及性能优化
21.1系统架构
21.1.1总体方案
21.1.2详细设计
21.1.3优化设计
21.2具体实现
21.2.1数据获取
21.2.2数据可视化
21.3性能优化
21.3.1读取优化
21.3.2查询优化
21.3.3Spark参数级优化
第22章实验：基于OpenStack和Hadoop的大数据分析
22.1实验一：OpenStack安装准备
22.2实验二：OpenStack在线安装
22.3实验三：初始化OpenStack中的环境
22.4实验四：搭建OpenStack中的虚拟机
22.5实验五：大数据分析案例
参考文献