Hadoop大数据技术与应用(数据科学与大数据技术专业系列规划教材)

杨治明、许桂秋主编的《Hadoop大数据技术与应 用(数据科学与大数据技术专业系列规划教材)》采用 理论与实践相结合的方式，全面介绍了Hadoop大数据 技术。主要内容包括初识Hadoop大数据技术，Hadoop 环境设置，分布式文件系统HDFS，资源调度框架YARN ，分布式并行编程模型MapReduce，分布式的列式数据 库HBase，数据仓库Hive，数据查询与分析平台Pig， 分布式的海量日志采集、聚合和传输系统Flume，在传 统数据库与分布式数据库之间进行数据传递的工具 Sqoop，提供分布式协调一致性服务的ZooKeeper， Hadoop快速部署工具Ambari，机器学习领域经典算法 库Mahout。 本书可以作为高等院校数据科学与大数据技术、 计算机、信息管理等相关专业的大数据入门教材。

第1章 初识Hadoop大数据技术 1.1 大数据技术概述 1.1.1 大数据产生的背景 1.1.2 大数据的定义 1.1.3 大数据技术的发展 1.2 Google的“三驾马车” 1.2.1 GFS的思想 1.2.2 MapReduce的思想 1.2.3 BigTable的思想 1.3 Hadoop概述 1.3.1 Hadoop对Google公司三篇论文思想的实现 1.3.2 Hadoop的发展历史 1.3.3 Hadoop版本的演变 1.3.4 Hadoop的发行版本 1.3.5 Hadoop的特点 1.4 Hadoop生态圈 1.5 Hadoop的典型应用场景与应用架构 1.5.1 Hadoop的典型应用场景 1.5.2 Hadoop的典型应用架构 习题 第2章 Hadoop环境设置 2.1 安装前准备 2.1.1 安装虚拟机 2.1.2 安装Ubuntu操作系统 2.1.3 关闭防火墙 2.1.4 SSH安装 2.1.5 安装Xshell及Xftp 2.1.6 安装JDK 2.1.7 下载Hadoop并解压 2.1.8 克隆主机 2.2 Hadoop的安装 2.2.1 安装单机模式 2.2.2 安装伪分布式模式 2.2.3 安装完全分布式模式 习题 实验 搭建Hadoop伪分布式模式环境 第3章 HDFS 3.1 HDFS简介 3.2 HDFS的组成与架构 3.2.1 NameNode 3.2.2 DataNode 3.2.3 SecondaryNameNode 3.3 HDFS的工作机制 3.3.1 机架感知与副本冗余存储策略 3.3.2 文件读取 3.3.3 文件写入 3.3.4 数据容错 3.4 HDFS操作 3.4.1 通过Web界面进行HDFS操作 3.4.2 通过HDFS Shell进行HDFS操作