云计算与大数据

云计算和大数据已经被誉为21世纪发展的科技新动力，云计算与大数据有机结合，为电子商务、电子政务、在线金融、智能制造、智慧城市等各个领域提供强有力的支持，推动着新经济时代的发展。本书共16章，分为云计算篇、大数据篇、平台篇。云计算篇主要介绍云计算的一般性概念、原理和相关机制；大数据篇重点介绍大数据的基本概念、关键技术和典型应用。平台篇重点介绍云计算与大数据的相关平台。

徐小龙，南京邮电大学计算机学院教授，博士生导师。"通信与信息系统专业”博士，"电子科学与技术”博士后流动站博士后（出站），国家很好工程师计划专业负责人。2011年获得国家留学基金委资助赴英国从事博士后研究，一直从事分布式计算、移动计算、物联网、信息网络与信息安全等技术领域的教学和科研工作。

目    录 第1篇  云计算篇 （1） 第1章  云计算概览 （3） 1.1  云计算的定义与特征 （3） 1.1.1  云计算的定义 （3） 1.1.2  云计算的产生与发展 （5） 1.1.3  云计算的典型特征 （6） 1.2  云计算的体系架构与关键技术 （7） 1.2.1  云计算的体系架构 （7） 1.2.2  云计算的关键技术 （8） 1.3  云计算数据中心 （9） 1.3.1  数据中心定义 （9） 1.3.2  数据中心构成 （10） 1.3.3  典型的数据中心 （10） 1.4  云计算与其他技术 （11） 1.4.1  云计算与大数据 （11） 1.4.2  云计算与区块链 （13） 1.4.3  云计算与病毒防御 （14） 1.4.4  云计算与边缘计算 （15） 1.5  本章小结 （16） 本章参考文献 （16） 第2章  虚拟化与容器技术 （19） 2.1  虚拟化概述 （19） 2.1.1  虚拟化技术的定义 （19） 2.1.2  虚拟化技术的产生与发展 （20） 2.1.3  虚拟化技术的特征与优势 （20） 2.1.4  虚拟化技术的类型 （21） 2.2  虚拟化关键技术 （21） 2.2.1  服务器虚拟化 （21） 2.2.2  存储虚拟化 （23） 2.2.3  网络虚拟化 （24） 2.2.4  应用程序虚拟化 （25） 2.2.5  桌面虚拟化 （25） 2.2.6  虚拟机迁移 （25） 2.3  典型虚拟化软件 （27） 2.3.1  Xen （27） 2.3.2  VMware的vSphere （27） 2.3.3  Microsoft的Hyper-V （29） 2.3.4  Linux的KVM （29） 2.4  容器技术 （31） 2.4.1  容器技术的定义与优势 （31） 2.4.2  Docker的核心组件 （32） 2.4.3  Docker的安装 （35） 2.4.4  Docker的调度工具 （37） 2.4.5  Docker的作用 （38） 2.5  本章小结 （38） 本章参考文献 （38） 第3章  云存储 （41） 3.1  云存储的基本概念 （41） 3.1.1  数据存储需求 （41） 3.1.2  云存储的定义 （42） 3.1.3  云存储系统的体系架构 （42） 3.1.4  云存储系统的网络架构 （43） 3.1.5  云存储系统的主要优势 （43） 3.2  云存储的关键技术 （44） 3.2.1  分布式存储 （44） 3.2.2  数据副本技术 （47） 3.2.3  数据备份技术 （50） 3.2.4  数据一致性技术 （50） 3.3  典型的云存储服务S3 （52） 3.3.1  AWS中的S3简介 （52） 3.3.2  S3基本数据结构 （52） 3.3.3  S3的性能优势 （53） 3.4  典型的云存储服务平台 （53） 3.4.1  iCloud （53） 3.4.2  百度网盘 （54） 3.5  本章小结 （55） 本章参考文献 （55） 第4章  云计算系统监管 （57） 4.1  云计算系统的资源监管体系 （57） 4.1.1  云计算系统的资源监管对象 （57） 4.1.2  云计算系统的资源监管目标 （58） 4.1.3  云计算系统的资源监管架构 （58） 4.2  云计算系统的资源监测 （59） 4.2.1  云计算系统资源监测的挑战 （59） 4.2.2  云计算系统资源监测的目标 （60） 4.2.3  云计算系统资源监测的架构 （60） 4.2.4  监测数据采集 （62） 4.2.5  分布式协同监测模型 （64） 4.3  云计算系统的任务调度 （69） 4.3.1  任务调度的概念 （69） 4.3.2  任务调度的原则 （70） 4.3.3  任务调度的算法 （70） 4.3.4  任务调度的模型 （71） 4.4  云计算系统的网络监管 （73） 4.4.1  网络监管的概念 （73） 4.4.2  网络监管的功能 （73） 4.4.3  云数据中心网络 （75） 4.4.4  网络流量的调度 （79） 4.5  云资源监管系统 （83） 4.5.1  云资源监管系统的架构 （83） 4.5.2  云资源监管系统的实现 （84） 4.5.3  常用的云资源监管系统 （91） 4.6  本章小结 （94） 本章参考文献 （94） 第5章  云计算安全 （97） 5.1  云计算安全问题分析 （97） 5.1.1  云计算安全现状 （97） 5.1.2  云计算安全问题来源 （98） 5.1.3  云计算安全问题分类 （98） 5.2  云计算安全保障技术 （99） 5.2.1  云计算安全目标 （99） 5.2.2  身份认证机制 （100） 5.2.3  访问控制机制 （102） 5.2.4  租户隔离技术 （103） 5.2.5  数据加密技术 （104） 5.2.6  数据完整性验证 （106） 5.2.7  云计算审计与安全溯源 （108） 5.3  云计算安全服务体系 （109） 5.3.1  云计算安全服务体系的架构 （109） 5.3.2  AWS的云安全模块 （112） 5.3.3  Azure的云安全模块 （112） 5.3.4  BlueCloud的云安全模块 （112） 5.4  本章小结 （113） 本章参考文献 （113） 第6章  云计算节能技术 （115） 6.1  云数据中心的能耗 （115） 6.1.1  云数据中心的规模 （115） 6.1.2  云数据中心的能耗现状 （115） 6.1.3  云数据中心的能耗组成 （116） 6.2  云数据中心的能效评价体系 （118） 6.2.1  云数据中心的能效评价标准 （118） 6.2.2  云数据中心的能效评价指标 （119） 6.3  绿色云计算节能技术 （121） 6.3.1  绿色计算与绿色云计算 （121） 6.3.2  节能优化技术 （122） 6.3.3  绿色云计算模型 （124） 6.4  节能的云数据管理 （128） 6.4.1  云数据模型 （128） 6.4.2  有序数据聚集 （128） 6.4.3  重复数据删除 （129） 6.5  本章小结 （134） 本章参考文献 （134） 第2篇  大数据篇 （137） 第7章  大数据概览 （139） 7.1  大数据的基本概念 （139） 7.1.1  DIKW体系 （139） 7.1.2  大数据时代 （141） 7.1.3  大数据的定义 （142） 7.1.4  大数据的特征 （143） 7.2  大数据技术及平台 （144） 7.2.1  大数据的生命周期 （144） 7.2.2  大数据的关键技术 （144） 7.2.3  大数据平台 （145） 7.3  数据思维与大数据价值 （151） 7.3.1  数据思维 （151） 7.3.2  大数据的价值 （152） 7.3.3  大数据的重点应用领域 （152） 7.4  典型的大数据 （154） 7.4.1  网络百科大数据 （154） 7.4.2  医疗健康大数据 （158） 7.4.3  灾害大数据 （159） 7.4.4  制造业大数据 （160） 7.5  本章小结 （162） 本章参考文献 （162） 第8章  大数据采集 （165） 8.1  数据采集概述 （165） 8.1.1  数据采集的概念 （165） 8.1.2  数据采集的性能要求 （165） 8.1.3  传统数据采集和大数据采集 （166） 8.2  数据采集的工具 （166） 8.2.1  网络数据采集 （166） 8.2.2  感知设备数据采集 （168） 8.2.3  系统日志采集 （169） 8.3  分布式数据采集 （170） 8.3.1  分布式数据采集系统 （170） 8.3.2  分布式数据采集系统的架构 （171） 8.4  定向数据采集 （173） 8.4.1  定向数据采集的基本工作原理 （173） 8.4.2  定向数据采集算法 （174） 8.4.3  定向数据采集系统的发展 （175） 8.5  网络数据采集系统 （175） 8.5.1  基于网络的地震数据采集 （175） 8.5.2  网络数据采集系统的架构 （176） 8.5.3  网络数据采集系统的功能模块 （178） 8.5.4  网络数据采集系统的界面展示 （180） 8.6  本章小结 （182） 本章参考文献 （182） 第9章  大数据处理 （183） 9.1  大数据预处理 （183） 9.1.1  数据预处理概述 （183） 9.1.2  数据清洗 （184） 9.1.3  数据集成 （187） 9.1.4  数据转换 （189） 9.1.5  数据归约 （190） 9.2  数据处理任务 （190） 9.2.1  数据处理概述 （190） 9.2.2  分类任务 （191） 9.2.3  聚类任务 （192） 9.2.4  关联分析任务 （193） 9.3  数据处理方法 （193） 9.3.1  数据挖掘 （193） 9.3.2  机器学习 （200） 9.3.3  深度学习 （202） 9.4  大数据处理架构 （211） 9.4.1  集中式处理架构 （211） 9.4.2  分布式处理架构 （212） 9.5  本章小结 （212） 本章参考文献 （213） 第10章  大数据应用 （217） 10.1  生物电大数据 （217） 10.1.1  生物电信号概述 （217） 10.1.2  基于脑电数据的疲劳监测方法 （219） 10.1.3  基于脑电数据的疲劳监测系统 （225） 10.2  轨迹大数据 （226） 10.2.1  轨迹大数据概述 （226） 10.2.2  基于轨迹大数据的路径规划方法 （229） 10.2.3  基于轨迹大数据的路径规划系统 （236） 10.3  文本大数据 （237） 10.3.1  文本大数据概述 （237） 10.3.2  基于文本大数据的问题分类方法 （242） 10.3.3  基于文本大数据的智能问答系统 （246） 10.4  图像大数据 （249） 10.4.1  图像大数据概述 （249） 10.4.2  基于图像大数据的目标检测方法 （250） 10.4.3  面向自动驾驶的目标检测系统 （255） 10.5  本章小结 （259） 本章参考文献 （259） 第11章  大数据隐私保护 （265） 11.1  隐私保护问题分析 （265） 11.1.1  数据隐私保护现状 （265） 11.1.2  数据隐私问题来源 （266） 11.1.3  数据隐私保护目标 （266） 11.2  隐私保护关键技术 （266） 11.2.1  隐私保护技术概述 （266） 11.2.2  匿名技术 （267） 11.2.3  加密技术 （271） 11.2.4  失真技术 （273） 11.2.5  数据销毁技术 （276） 11.3  差分隐私保护机制 （279） 11.3.1  本地化差分隐私技术 （279） 11.3.2  中心化差分隐私保护实践 （281） 11.4  轨迹大数据的隐私保护 （283） 11.4.1  基于差分隐私的轨迹大数据泛化机制 （283） 11.4.2  轨迹大数据应用管理系统及隐私数据保护模块 （284） 11.5  本章小结 （288） 本章参考文献 （288） 第3篇  平台篇 （291） 第12章  商用云计算平台 （293） 12.1  Amazon云计算平台 （293） 12.1.1  系统简介 （293） 12.1.2  分布式文件系统Dynamo （293） 12.1.3  弹性计算云EC2 （295） 12.2  Microsoft云计算平台 （297） 12.2.1  系统简介 （297） 12.2.2  服务组件 （298） 12.2.3  Azure Kubernetes服务 （300） 12.2.4  Azure Cosmos DB （300） 12.2.5  Azure存储 （301） 12.3  阿里云计算平台 （301） 12.3.1  系统简介 （301） 12.3.2  弹性计算 （302） 12.3.3  存储 （304） 12.3.4  数据库 （305） 12.4  本章小结 （306） 本章参考文献 （306） 第13章  云操作系统OpenStack （307） 13.1  操作系统概览 （307） 13.1.1  操作系统基本概念 （307） 13.1.2  新型操作系统 （308） 13.1.3  云操作系统 （310） 13.2  OpenStack简介 （311） 13.2.1  来源背景 （311） 13.2.2  版本演变 （311） 13.3  OpenStack的体系架构与核心组件 （312） 13.3.1  OpenStack的体系架构 （312） 13.3.2  OpenStack的核心组件 （313） 13.4  OpenStack的安装与部署 （321） 13.4.1  OpenStack代码、SDK和相关工具的获取 （321） 13.4.2  OpenStack对安装环境的要求 （322） 13.4.3  OpenStack的安装过程 （322） 13.4.4  OpenStack的部署配置 （326） 13.5  本章小结 （331） 本章参考文献 （331） 第14章  云仿真平台CloudSim （333） 14.1  仿真平台概览 （333） 14.1.1  仿真的基本概念 （333） 14.1.2  云仿真平台介绍 （334） 14.2  CloudSim简介 （335） 14.3  CloudSim架构与核心类 （336） 14.3.1  体系架构 （336） 14.3.2  核心类介绍 （336） 14.4  CloudSim的安装与部署 （337） 14.4.1  CloudSim安装包的获取 （337） 14.4.2  CloudSim对安装环境的要求 （338） 14.4.3  CloudSim的安装过程 （338） 14.4.4  CloudSim实例的运行 （339） 14.5  本章小结 （346） 本章参考文献 （346） 第15章  分布式大数据处理平台Hadoop （347） 15.1  分布式系统概览 （347） 15.1.1  分布式系统的基本概念 （347） 15.1.2  典型分布式系统 （348） 15.1.3  分布式系统特点 （348） 15.2  Hadoop简介 （348） 15.2.1  来源背景 （348） 15.2.2  版本演变 （350） 15.3  Hadoop架构和核心组件 （351） 15.3.1  体系架构 （351） 15.3.2  HDFS （352） 15.3.3  MapReduce （356） 15.3.4  Yarn （358） 15.3.5  HBase （359） 15.4  Hadoop的安装与部署 （362） 15.4.1  Hadoop安装包的获取 （362） 15.4.2  Hadoop对安装环境的要求 （362） 15.4.3  Hadoop的安装流程 （363） 15.4.4  Hadoop的部署配置 （364） 15.4.5  Hadoop实例的运行 （366） 15.5  本章小结 （367） 本章参考文献 （367） 第16章  分布式内存计算平台Spark （369） 16.1  内存计算概览 （369） 16.1.1  内存计算的基本概念 （369） 16.1.2  典型的内存计算平台 （369） 16.2  Spark简介 （370） 16.2.1  来源背景 （370） 16.2.2  Spark版本演变 （370） 16.2.3  Spark与Hadoop联系 （371） 16.3  Spark的架构与核心组件 （371） 16.3.1  Spark的架构 （371） 16.3.2  弹性分布式数据集 （373） 16.3.3  数据分析栈 （374） 16.3.4  函数式编程语言 （382） 16.4  Spark安装与部署 （383） 16.4.1  Spark安装包的获取 （383） 16.4.2  Spark对安装环境的要求 （384） 16.4.3  Spark的安装过程 （384） 16.4.4  Spark的部署配置 （385） 16.4.5  Spark实例的运行 （386） 16.5  本章小结 （387） 本章参考文献 （388）