大数据技术原理与操作应用

本书围绕Hadoop生态圈相关组件系统介绍大数据架构。全书共10章，其中，第1、2章主要介绍hadoop的概述以及如何搭建hadoop的集群；第3-5章介绍分布式文件系统（HDFS）、分布式计算框架（MapReduce）以及分布式协调服务；第6章介绍hadoop2.0新特性，包含YARN和高可用集群的原理。第7-9章主要介绍Hadoop生态圈的相关辅助系统，包含Hive、Flume、Sqoop；第10章是综合案例的开发，目的是让大家能够利用hadoop的相关组件进行项目的开发，同时加深对Hadoop生态圈的技术的理解。

第1章 初识Hadoop
1．1 大数据的介绍
1．2 Hadoop的介绍
习题1

第2章 Hadoop集群构建
2．1 Linux系统安装
2．2 Linux系统网络配置
2．3 创建普通用户
2．4 构建Hadoop接近分布式集群环境
2．5 Hadoop平台运行及测试
习题2

第3章 HDFS分布式文件系统
3．1 Hadoop的文件系统
3．2 HDFS的简介
3．3 HDFS的架构及原理
3．4 HDFS的Shell操作
3．5 HDFS的Java API操作
习题3

第4章 MapReduce分布式计算系统
4．1 MapReduce的介绍
4．2 MapReduce运行机制
4．3 案例：使用MapReduce实现反向索引
习题4

第5章 ZooKeeper分布式协调服务
5．1 认识ZooKeeper
5．2 ZooKeeper的数据模型
5．3 ZooKeeper的Watch机制
5．4 ZooKeeper的选举机制
5．5 ZooKeeper分布式集群部署
5．6 ZooKeeper的Shell操作
5．7 ZooKeeper Java API操作
5．8 ZooKeeper应用场景
习题5

第6章 Hadoop2.0新特性
6．1 Hadoop 2.0的改进与提升
6．2 YARN体系结构
6．3 YARN工作流程
6．4 HDFS HA的搭建方法
习题6

第7章 Hive数据仓库
7．1 Hive的介绍
7．2 Hive的安装部署
7．3 Hive的基本操作
习题7

第8章 日志采集系统
8．1 Flume的介绍
8．2 Flume基本使用方法
8．3 Flume采集方案配置说明
8．4 Flume的可靠性保证
8．5 Flume
8．6 案例——日志采集
习题8

第9章 Sqoop数据迁移
9．1 Sqoop的介绍
9．2 Sqoop数据导入
9．3 Sqoop数据导出
习题9

第10章 综合项目案例
10．1 优选气温统计案例
10．2 电子商务离线数据统计案例

参考文献