Hadoop构建数据仓库与实战分析

本书从Hadoop背景、特性、安装等开始，逐步讲解其配置、解决方案、元数据解析等内容。本书共10章，主要内容包括：Hadoop简介，Hadoop的安装与配置，HDFS HA及解决方案，HDFS元数据解析，Hadoop的元数据备份方案，Hadoop的BackupNode方案，MapReduce设计理念与基本架构，MapReduce编程模型，YARN设计理念与基本架构，YARN基础库。本书可作为高等院校计算机等相关专业的大数据或相关课程的教材，也可供大数据领域的工程技术人员学习、参考。

小牛学堂，是在线教育平台，网站内建设有在线学习行业课程专栏体系，通过用户基础推荐合适的学习方案，关联推荐课程，并通过大数据行为轨迹定位进行学员学习跟进。主要提供以SAP项目、云计算及大数据项目、Unity3D游戏开发项目的在线学习，直播互动，免费学习课程等服务。

章Hadoop简介1
1.1Hadoop相关介绍1
1.1.1Hadoop概述1
1.1.2Hadoop的历史1
1.1.3Hadoop的功能与作用1
1.1.4Hadoop的优势2
1.1.5Hadoop的应用现状与趋势2
1.2Hadoop的项目2
1.3Hadoop的体系结构4
1.4Hadoop与分布式开发5
1.5Hadoop计算模型8
1.6Hadoop的数据管理8
1.6.1HDFS的数据管理8
1.6.2HBase的数据管理10
1.6.3Hive的数据管理11
1.7Hadoop集群安全策略12
思考练习14
第2章Hadoop的安装与配置15
2.1在Linux上安装与配置Hadoop15
2.1.1安装JDK1.615
2.1.2配置SSH免密码登录16
2.1.3安装并运行Hadoop17
2.2在MacOSX上安装与配置Hadoop19
2.2.1安装Homebrew19
2.2.2使用Homebrew安装Hadoop19
2.2.3配置SSH和使用Hadoop19
2.3在Windows上安装与配置Hadoop19
2.3.1安装JDK1.6或更高版本19
2.3.2安装Cygwin20
2.3.3配置环境变量20
2.3.4安装sshd服务20
2.3.5启动sshd服务20
2.3.6配置SSH免密码登录20
2.3.7安装并运行Hadoop21
2.4安装与配置Hadoop集群21
2.4.1网络拓扑21
2.4.2定义集群拓扑22
2.4.3建立和安装Cluster22
2.5日志分析及几个小技巧28
思考练习29
第3章HDFSHA及解决方案30
3.1HDFS系统架构30
3.2HA定义31
3.3HDFSHA原因分析及应对措施31
3.3.1可靠性31
3.3.2可维护性32
3.4Hadoop的HA解决方案32
3.4.1Hadoop的元数据备份方案32
3.4.2Hadoop的SecondaryNameNode方案33
3.4.3Hadoop的CheckpointNode方案33
3.4.4Hadoop的BackupNode方案34
3.4.5DRDB方案34
3.4.6Facebook的AvatarNode方案34
3.5方案的优点与缺点比较35
思考练习36
第4章HDFS元数据解析37
4.1概述37
4.2内存元数据结构37
4.2.1INode37
4.2.2Block38
4.2.3BlockInfo和DatanodeDescriptor39
4.2.4小结39
4.2.5代码分析―元数据结构39
4.3磁盘元数据文件43
4.4format情景分析45
4.5元数据应用场景分析56
思考练习57
第5章Hadoop的元数据备份方案58
5.1运行机制分析58
5.1.1NameNode启动加载元数据情景分析59
5.1.2元数据更新及日志写入情景分析67
5.1.3Checkpoint过程情景分析73
5.1.4元数据可靠性机制95
5.2使用说明95
思考练习96
第6章Hadoop的BackupNode方案97
6.1BackupNode概述97
6.1.1系统架构97
6.1.2使用原则97
6.2运行机制分析98
6.2.1运行机制98
6.2.2元数据操作情景分析113
6.2.3日志池机制119
6.2.4故障切换机制122
6.3实验方案说明124
6.4构建实验环境124
6.4.1网络拓扑124
6.4.2系统安装及配置124
6.4.3安装JDK131
6.4.4虚拟机集群架设132
6.4.5NameNode安装及配置133
6.4.6BackupNode安装及配置133
6.4.7DataNode安装及配置134
6.4.8Clients安装及配置134
6.5异常解决方案134
6.5.1异常情况分析134
6.5.2NameNode配置134
6.5.3BackupNode配置139
6.5.4DataNode配置141
6.5.5NameNode宕机切换实验143
6.5.6NameNode宕机读/写测试148
思考练习153
第7章MapReduce设计理念与基本架构154
7.1HadoopMapReduce设计目标154
7.2MapReduce编程模型概述154
7.2.1MapReduce编程模型简介154
7.2.2MapReduce编程实例156
7.3Hadoop基本架构157
7.3.1HDFS架构158
7.3.2HadoopMapReduce架构159
7.4HadoopMapReduce作业的生命周期160
思考练习162
第8章MapReduce编程模型163
8.1MapReduce编程模型概述163
8.1.1MapReduce编程接口体系结构163
8.1.2新版与旧版MapReduceAPI比较164
8.2MapReduceAPI基本概念165
8.2.1序列化165
8.2.2Reporter参数166
8.2.3回调机制166
8.3JavaAPI解析167
8.3.1作业配置与提交167
8.3.2InputFormat接口的设计与实现170
8.3.3OutputFormat接口的设计与实现174
8.3.4Mapper与Reducer解析177
8.3.5Partitioner接口的设计与实现180
8.4非JavaAPI解析181
8.4.1HadoopStreaming的实现原理181
8.4.2HadoopPipes的实现原理184
8.5Hadoop工作流187
8.5.1JobControl的实现原理187
8.5.2ChainMapper/ChainReducer的实现原理189
8.5.3Hadoop工作流引擎191
思考练习192
第9章YARN设计理念与基本架构193
9.1YARN产生背景193
9.1.1MRv1的局限性193
9.1.2轻量级弹性计算平台194
9.2Hadoop基础知识195
9.2.1术语解释195
9.2.2Hadoop的版本变迁196
9.3YARN基本设计思想198
9.3.1基本框架对比198
9.3.2编程模型对比200
9.4YARN基本架构200
9.4.1YARN基本组成结构200
9.4.2YARN通信协议202
9.5YARN工作流程203
9.6多角度理解YARN204
9.6.1并行编程204
9.6.2资源管理系统204
9.6.3云计算204
思考练习205
0章YARN基础库206
10.1YARN基础库概述206
10.2第三方开源库206
10.2.1ProtocolBuffers206
10.2.2ApacheAvro209
10.3底层通信库211
10.3.1RPC通信模型212
10.3.2HadoopRPC的特点概述213
10.3.3RPC总体架构213
10.3.4HadoopRPC使用方法214
10.3.5HadoopRPC类详解215
10.3.6HadoopRPC参数调优219
10.3.7YARNRPC实现219
10.3.8YARNRPC应用实例221
10.4服务库与事件库225
10.4.1服务库225
10.4.2事件库226
10.4.3YARN服务库和事件库的使用方法226
10.4.4事件驱动带来的变化229
10.5状态机库230
10.5.1YARN状态转换方式230
10.5.2状态机类230
10.5.3状态机的使用方法230
10.5.4状态机可视化233
10.6源代码阅读引导233
思考练习234
参考文献235