剑指大数据 Hadoop学习精要

   Hadoop是使用最广泛的大数据处理框架之一，在大数据领域有着极其重要的地位，掌握Hadoop可以让学习者对大数据的理解更进一步。本书是基于Hadoop 3.1.3编写的，从大数据的特点和处理难点入手，逐步讲解Hadoop的起源和发展。从搭建Hadoop的学习环境开始，依次对Hadoop的三大功能模块进行重点讲解，并且结合大量案例，细致地讲解HDFS、MapReduce、YARN的内核原理和调优方法，还会扩展讲解Hadoop的高可用实现、在生产环境中的调优方法及源码解读。

本书广泛适用于大数据的学习者与从业人员，是大数据学习的推荐书籍。

尚硅谷教育是一家专业的IT教育培训机构，开设了JavaEE、大数据、HTML5前端等多门学科，在互联网上发布的JavaEE、大数据、HTML5前端、区块链、C语言、Python等技术视频教程广受赞誉。

第1章大数据概论
1.1大数据的特征
1.2大数据的发展前景
1.2.1大数据的应用场景
1.2.2大数据的未来发展
1.3大数据生态体系与Hadoop
1.3.1Hadoop的发展史
1.3.2大数据生态体系
1.3.3Hadoop架构
1.4本章总结
第2章环境准备
2.1安装VMware
2.2安装CentOS
2.3安装远程终端
2.3.1安装Xshell
2.3.2安装SecureCRT
2.4虚拟机配置
2.4.1网络配置
2.4.2网络IP地址配置
2.4.3主机名配置
2.4.4防火墙配置
2.4.5一般用户配置
2.4.6克隆虚拟机
2.5本章总结
第3章Hadoop快速上手
3.1集群角色
3.1.1Hadoop集群的主要角色
3.1.2YARN的主要组成部分
3.2本地模式
3.2.1安装
3.2.2运行官方示例程序
3.3接近分布式模式
3.3.1SSH免密登录
3.3.2shell脚本准备
3.3.3集群配置
3.3.4NameNode格式化问题
3.3.5配置历史服务器与日志聚集功能
3.3.6Hadoop集群启停脚本
3.3.7集群时间同步
3.4本章总结
第4章分布式文件系统HDFS
4.1HDFS概述
4.1.1HDFS背景及定义
4.1.2HDFS的基本架构
4.2HDFS的shell操作
4.2.1命令大全
4.2.2命令行命令实操
4.3HDFS的API操作
4.3.1客户端环境准备
4.3.2HDFS文件上传案例
4.3.3HDFS文件下载案例
4.3.4HDFS文件重命名案例
4.3.5HDFS文件删除案例
4.3.6HDFS文件详情查看案例
4.3.7HDFS文件和文件夹判断案例
4.4HDFS的读/写流程
4.4.1HDFS中的数据块大小
4.4.2写数据流程
4.4.3读数据流程
4.5HDFS的工作机制
4.5.1NameNode和SecondaryNameNode的工作机制
4.5.2EditLog和FsImage文件解析
4.5.3检查点时间设置
4.5.4DataNode的工作机制
4.5.5数据完整性
4.6本章总结
第5章分布式计算MapReduce
5.1MapReduce概述
5.1.1MapReduce定义
5.1.2MapReduce核心思想
5.2MapReduce编程入门
5.2.1官方示例程序WordCount源码
5.2.2编程规范
5.2.3WordCount案例实操
5.3Hadoop的序列化
5.3.1序列化概述
5.3.2Writable接口
5.3.3序列化案例实操
5.4MapReduce框架原理之InputFormat数据输入
5.4.1切片与MapTask并行度决定机制
5.4.2Job提交流程源码和FileInputFormat切片源码详解
5.4.3FileInputFormat切片机制总结
5.4.4TextInputFormat
5.4.5CombineTextInputFormat切片机制
5.4.6CombineTextInputFormat案例实操
5.5MapReduce框架原理之shuffle机制
5.5.1shuffle机制
5.5.2分区
5.5.3分区案例实操
5.5.4WritableComparable排序
5.5.5WritableComparable排序案例实操（全排序）
5.5.6WritableComparable排序案例实操（区内排序）
5.5.7Combiner合并
5.5.8Combiner合并案例实操
5.6MapReduce框架原理之OutputFormat数据输出
5.6.1OutputFormat接口的实现类
5.6.2自定义OutputFormat类的案例实操
5.7MapReduce工作流程
5.8Join
5.8.1ReduceJoin
5.8.2ReduceJoin案例实操
5.8.3MapJoin
5.8.4MapJoin案例实操
5.9数据清洗
5.10Hadoop中的数据压缩
5.10.1数据压缩概述
5.10.2压缩参数配置
5.10.3压缩案例实操
5.11本章总结
第6章资源调度器YARN
6.1YARN概述
6.1.1基本架构
6.1.2工作机制
6.2YARN的资源调度器和调度算法
6.2.1FIFO调度器
6.2.2容量调度器
……