Hadoop大数据技术原理与应用

本书围绕Hadoop生态圈相关系统介绍大数据处理架构。全书共11章，其中，第1、2章主要带领大家认识Hadoop以及学会搭建Hadoop集群；第3-5章讲解分布式文件系统（HDFS）、分布式计算框架MapReduce以及分布式协调服务；第6章讲解Hadoop2.0新特性，包含YARN和高可用特性;第7-10章主要讲解Hadoop生态圈的相关辅助系统，包括Hive、Flume、Azkaban和Sqoop；第11章是一个综合项目——网站流量日志数据分析系统，目的是教会大家如何利用Hadoop生态圈技术构建大数据系统架构并进行开发，同时加深对Hadoop技术的理解。本书附有配套视频、源代码、习题、教学设计、教学课件等资源。同时，为了帮助初学者更好地学习本书中的内容，还提供了在线答疑，欢迎读者关注。本书可作为高等院校本、专科计算机相关专业，信息管理等相关专业的大数据课程教材，也可供相关技术人员参考，是一本适合广大计算机编程爱好者的优秀读物。

第1章初识Hadoop
1.1大数据概述
1.1.1什么是大数据
1.1.2大数据的特征
1.1.3研究大数据的意义
1.2大数据的应用场景
1.2.1医疗行业的应用
1.2.2金融行业的应用
1.2.3零售行业的应用
1.3HadOOp概述
1.3.1Hadoop的前世今生
1.3.2Hadoop的优势
1.3.3Hadoop的生态体系
1.3.4Hadoop的版本
1.4本章小结
1.5课后习题
第2章搭建Hadoop集群
2.1安装准备
2.1.1虚拟机安装
2.1.2虚拟机克隆
2.1.3Linux系统网络配置
2.1.4SSH服务配置
2.2HadOOp集群搭建
2.2.1HadoOp集群部署模式
2.2.2JDK安装
2.2.3Hadoop安装
2.2.4Hadoop集群配置
2.3Hadoop集群测试
2.3.1格式化文件系统
2.3.2启动和关闭Hadoop集群
2.3.3通过UI查看Hadoop运行状态
2.4Hadoop集群初体验
2.5本章小结
2.6课后习题
第3章HDFS分布式文件系统
3.1HDFS的简介
3.1.1HDFS的演变
3.1.2HDFS的基本概念
3.1.3HDFS的特点
3.2HDFS的架构和原理
3.2.1HDFS存储架构
3.2.2HDFS文件读写原理
3.3HDFS的Shell操作
3.3.1HDFSShell介绍
3.3.2案例——Shell定时采集数据到HDFS
3.4HDFS的JavaAPI操作
3.4.1HDFSJavaAPI介绍
3.4.2案例——使用JavaAPI操作HDFS
3.5本章小结
3.6课后习题
第4章MapReduce分布式计算框架
4.1MapReduce概述
4.1.1MapReduce核心思想
4.1.2MapRedLlee编程模型
4.1.3MapRedLice编程实例——词频统计
4.2MapReduce工作原理
4.2.1MapReduce工作过程
4.2.2MapTask工作原理
4.2.3RedLiceTask工作原理
4.2.4shuffle工作原理
4.3MapReduce编程组件
4.3.1InputFormat组件
4.3.2Mapper组件
4.3.3Reducer组件
4.3.4Partitioner组件
4.3.5Combiner组件
……
第5章Zookeeper分布式协调服务
第6章Hadoop2.0新特性
第7章Hive数据仓库
第8章Flume日志采集系统
第9章工作流管理器(Azkaban)
第10章Sqoop数据迁移
第11章综合项目——网站流量日志数据分析系统