实战Hadoop2.0

书是刘鹏教授主编的靠前靠前本Hadoop编程书籍《实战Hadoop》的第二版。Hadoop堪称业界很经典的开源云计算和大数据平台软件。本书系统介绍了Hadoop 2.0生态圈的核心和扩展组件，包括：管理工具Ambari、分布式文件系统HDFS、分布式资源管理器YARN、分布式并行处理MapReduce、内存型计算框架Spark、数据流实时处理系统Storm、分布式锁服务ZooKeeper、分布式数据库HBase、数据仓库工具Hive，以及Pig、Oozie、Flume、Mahout等。

刘鹏，解放军理工大学教授、博士生导师、学科带头人，清华大学博士。现任中国云计算专家咨询委员会秘书长、中国信息协会大数据分会副会长、中国电子学会云计算专家委员会云存储组组长、工信部云计算研究中心专家、江苏省云计算论坛。主持完成科研项目25项，发表论文80余篇，出版专业书籍18本。获部级科技进步二等奖4项，三等奖4项。获“全军十大学习成才标兵”、 “南京市十大杰出青年”、清华大学“学术新秀”等称号。

第1章大数据组件概述1
1.1Google大数据组件2
1.2Apache大数据组件6
1.2.1Hadoop核心组件7
1.2.2基于MR的数据分析组件10
1.2.3数据库组件16
1.2.4BSP组件19
1.2.5基于YARN框架组件20
1.2.6基于YARN的编程类库组件24
1.2.7搜索引擎组件25
1.2.8工作流组件26
1.2.9数据流组件27
1.2.10序列化和持久化组件29
1.2.11调试工具30
1.2.12安全性组件31
1.2.13兼容性组件33
1.2.14集群部署与管理组件33
习题34
参考文献35
第2章大数据集群39
2.1大数据集群简介40
2.2大数据集群bigCstor45
2.3我的大数据集群littleCstor48
2.4小结52
习题52
参考文献53
第3章集群管理工具Ambari55
3.1Ambari简介56
3.2使用Ambari部署HDP59
3.3使用Ambari搭建littleCstor62
3.3.1相关约定62
3.3.2制定部署规划63
3.3.3搭建prelittleCstor64
3.3.4本地建仓72
3.3.5部署AmbariServer77
3.3.6搭建littleCstor83
3.3.7小结105
3.4使用Ambari管理littleCstor110
3.5小结111
习题111
参考文献111
第4章分布式文件系统HDFS113
4.1分布式存储引例114
4.1.1问题描述114
4.1.2常规解决方案115
4.1.3分布式解决方案117
4.2HDFS简介124
4.2.1HDFS逻辑架构124
4.2.2HDFS物理拓扑129
4.2.3HDFS部署133
4.2.4HDFS其他概念[9]135
4.3HDFS接口138
4.4实战HDFSShell140
4.4.1HDFS文件级命令集141
4.4.2HDFS系统级命令集143
4.5实战WebHDFS149
4.5.1WebHDFS简介149
4.5.2WebHDFS示例151
4.6实战HDFSJAVAAPI156
4.6.1搭建开发环境156
4.6.2常规操作示例158
4.7实战HDFS大项目：用HDFS存储海量视频数据163
4.7.1应用场景163
4.7.2设计实现164
习题166
参考文献166
第5章分布式资源管理器YARN169
5.1分布式资源管理器引例170
5.1.1分布式资源管理器简介170
5.1.2分布式资源管理器架构173
5.2YARN简介177
5.2.1基础概念177
5.2.2物理拓扑179
5.2.3体系架构180
5.2.4集群部署190
5.3YARN接口192
5.4实战YARNShell194
5.4.1系统级命令195
5.4.2程序级命令197
5.4.3其他辅助命令199
5.5实战YARN编程199
5.5.1常见并行化范式199
5.5.2YARN编程步骤205
5.6实战YARN编程之DistributedShell213
5.6.1DistributedShell简介213
5.6.2编写DistributedShell214
5.7实战YARN编程之三大范式221
5.7.1DistributedShell222
5.7.2MapReduce222
5.7.3Giraph223
习题224
参考文献224
第6章分布式并行处理MapReduce225
6.1并行化范式M-S-R引例226
6.1.1问题描述226
6.1.2常规解决方案227
6.1.3分布式解决方案228
6.1.4小结234
6.2MapReduce简介[1]234
6.2.1基本概念235
6.2.2编程模型237
6.2.3集群部署239
6.2.4体系架构241
6.2.5执行过程245
6.3MapReduce接口247
6.4实战MapReduceShell250
6.5实战MapReduce编程253
6.6实战MapReduce编程之WordCount[3]256
6.6.1WordCount代码分析256
6.6.2WordCount处理过程260
6.7实战MapReduce编程之SecondarySort261
6.8实战MapReduce编程之倒排索引265
6.8.1简介265
6.8.2分析与设计266
6.8.3倒排索引完整源码269
6.9实战MapReduce之性能优化271
习题280
参考文献280
第7章分布式锁服务ZooKeeper281
7.1ZooKeeper简介282
7.1.1ZooKeeper应用场景282
7.1.2ZooKeeper体系架构[3]285
7.1.3ZooKeeper服务模型287
7.1.4ZooKeeper部署289
7.2ZooKeeper接口292
7.2.1接口汇总292
7.2.2实战ZooKeeperShell292
7.3实战ZooKeeper编程294
7.4实战ZooKeeper之进程通信296
7.5实战ZooKeeper之进程调度系统297
7.5.1设计方案297
7.5.2设计实现297
7.6实战ZooKeeper之实现NameNode自动切换303
7.6.1设计思想304
7.6.2详细设计304
7.6.3编码305
7.6.4实战总结310
习题311
参考文献311
第8章分布式数据库HBase313
8.1HBase简介314
8.1.1体系架构314
8.1.2数据模型320
8.1.3集群部署[21]321
8.2HBase接口326
8.3实战HBaseShell327
8.4实战HBaseAPI329
8.5实战HBase之综例330
8.6实战HBase之使用MapReduce构建索引332
8.6.1索引表蓝图332
8.6.2HBase和MapReduce333
8.6.3实现索引334
习题336
参考文献337
第9章内存型计算框架Spark339
9.1Spark简介340
9.1.1基础概念340
9.1.2体系架构346
9.1.3集群部署358
9.1.4计算模型366
9.1.5工作机制374
9.1.6其他特性375
9.2Spark接口377
9.3实战SparkShell379
9.3.1集群管理379
9.3.2任务管理381
9.4实战Spark编程之RDD383
9.4.1RDD属性383
9.4.2并行化证明RDD、调试RDD386
9.4.3RDD操作389
9.5实战Spark之WordCount[3]396
9.6实战Spark之MLLib397
习题398
参考文献398
第10章数据流实时处理系统Storm399
10.1Storm简介400
10.1.1与Hadoop的关系400
10.1.2基础概念402
10.1.3体系架构408
10.1.4集群部署[4]412
10.1.5计算模型421
10.2Storm接口450
10.3实战StormShell452
10.4实战StormAPI之RollingTopWords455
习题457
参考文献458
第11章数据仓库工具Hive459
11.1Hive简介460
11.1.1工作原理460
11.1.2体系架构461
11.1.3计算模型462
11.1.4集群部署463
11.2Hive接口467
11.2.1接口汇总467
11.2.2实战HiveWeb467
11.3实战HiveShell468
11.3.1DDLOperations468
11.3.2DMLOperations469
11.3.3SQLOperations470
11.4实战Hive之复杂语句471
11.5实战Hive之综合示例473
11.6实战HiveAPI接口474
11.6.1UDF编程示例[3]474
11.6.2UDAF编程示例475
习题477
参考文献477
第12章其他常见大数据组件479
12.1Pig480
12.1.1Pig简介480
12.1.2实战Pig483
12.2Oozie483
12.2.1Oozie简介483
12.2.2实战Oozi