大数据技术体系详解

本书站在大数据落地应用的角度，系统阐述大数据从数据收集，到数据存储、分布式协调及资源管理、计算引擎、分析工具，再到数据可视化这一完整流程，本书既包含主要技术的实现原理及其框架，也包含了具体落地指导，是帮助企业和个人整体了解大数据框架的参考书。本章主要包括6个部分共16章的内容，其中：第壹部分介绍了大数据体系架构，以及Google和Hadoop技术栈；第二部分介绍大数据分析相关技术，主要涉及关系型数据收集工具Sqoop与Canel、非关系型数据收集系统Flume以及分布式消息队列Kafka；第三部分介绍大数据存储相关技术，涉及数据存储格式、分布式文件系统以及分布式数据库；第四部分介绍资源管理和服务协调相关技术，涉及资源管理和调度系统YARN以及资源协调系统ZooKeeper；第五部分介绍计算引擎相关技术，涉及批处理、交互式处理以及流式实时处理三类引擎；第六部分数据分析相关技术，涉及基于数据分析语言HQL与SQL、大数据统一编程模型及机器学习库等。

董西成，资历大数据技术实践者和研究者，对大数据基础架构有很好深刻的认识和理解，有着丰富的实践经验。熟悉常见的开源大数据解决方案，包括Hadoop和spark生态系统等，擅长底层分布式系统的优化和开发。撰写了大量Had00p和spark等大数据相关的技术文章并分享在自己的博客上，由于文章技术含量高，所以很好受欢迎。

前言
第一部分概述篇
第1章企业级大数据技术体系概述2
1.1大数据系统产生背景及应用场景2
1.1.1产生背景2
1.1.2常见大数据应用场景3
1.2企业级大数据技术框架5
1.2.1数据收集层6
1.2.2数据存储层7
1.2.3资源管理与服务协调层7
1.2.4计算引擎层8
1.2.5数据分析层9
1.2.6数据可视化层9
1.3企业级大数据技术实现方案9
1.3.1Google大数据技术栈10
1.3.2Hadoop与Spark开源大数据技术栈12
1.4大数据架构：LambdaArchitecture15
1.5Hadoop与Spark版本选择及安装部署16
1.5.1Hadoop与Spark版本选择16
1.5.2Hadoop与Spark安装部署17
1.6小结18
1.7本章问题18
第二部分数据收集篇
第2章关系型数据的收集20
2.1Sqoop概述20
2.1.1设计动机20
2.1.2Sqoop基本思想及特点21
2.2Sqoop基本架构21
2.2.1Sqoop1基本架构22
2.2.2Sqoop2基本架构23
2.2.3Sqoop1与Sqoop2对比24
2.3Sqoop使用方式25
2.3.1Sqoop1使用方式25
2.3.2Sqoop2使用方式28
2.4数据增量收集CDC31
2.4.1CDC动机与应用场景31
2.4.2CDC开源实现Canal32
2.4.3多机房数据同步系统Otter33
2.5小结35
2.6本章问题35
第3章非关系型数据的收集36
3.1概述36
3.1.1Flume设计动机36
3.1.2Flume基本思想及特点37
3.2FlumeNG基本架构38
3.2.1FlumeNG基本架构38
3.2.2FlumeNG高级组件41
3.3FlumeNG数据流拓扑构建方法42
3.3.1如何构建数据流拓扑42
3.3.2数据流拓扑实例剖析46
3.4小结50
3.5本章问题50
第4章分布式消息队列Kafka51
4.1概述51
4.1.1Kafka设计动机51
4.1.2Kafka特点53
4.2Kafka设计架构53
4.2.1Kafka基本架构54
4.2.2Kafka各组件详解54
4.2.3Kafka关键技术点58
4.3Kafka程序设计60
4.3.1Producer程序设计61
4.3.2Consumer程序设计63
4.3.3开源Producer与Consumer实现65
4.4Kafka典型应用场景65
4.5小结67
4.6本章问题67
第三部分数据存储篇
第5章数据序列化与文件存储格式70
5.1数据序列化的意义70
5.2数据序列化方案72
5.2.1序列化框架Thrift72
5.2.2序列化框架Protobuf74
5.2.3序列化框架Avro76
5.2.4序列化框架对比78
5.3文件存储格式剖析79
5.3.1行存储与列存储79
5.3.2行式存储格式80
5.3.3列式存储格式ORC、Parquet与CarbonData82
5.4小结88
5.5本章问题89
第6章分布式文件系统90
6.1背景90
6.2文件级别和块级别的分布式文件系统91
6.2.1文件级别的分布式系统91
6.2.2块级别的分布式系统92
6.3HDFS基本架构93
6.4HDFS关键技术94
6.4.1容错性设计95
6.4.2副本放置策略95
6.4.3异构存储介质96
6.4.4集中式缓存管理97
6.5HDFS访问方式98
6.5.1HDFSshell98
6.5.2HDFSAPI100
6.5.3数据收集组件101
6.5.4计算引擎102
6.6小结102
6.7本章问题103
第7章分布式结构化存储系统104
7.1背景104
7.2HBase数据模型105
7.2.1逻辑数据模型105
7.2.2物理数据存储107
7.3HBase基本架构108
7.3.1HBase基本架构108
7.3.2HBase内部原理110
7.4HBase访问方式114
7.4.1HBaseshell114
7.4.2HBaseAPI116
7.4.3数据收集组件118
7.4.4计算引擎119
7.4.5ApachePhoenix119
7.5HBase应用案例120
7.5.1社交关系数据存储120
7.5.2时间序列数据库OpenTSDB122
7.6分布式列式存储系统Kudu125
7.6.1Kudu基本特点125
7.6.2Kudu数据模型与架构126
7.6.3HBase与Kudu对比126
7.7小结127
7.8本章问题127
第四部分分布式协调与资源管理篇
第8章分布式协调服务ZooKeeper130
8.1分布式协调服务的存在意义130
8.1.1leader选举130
8.1.2负载均衡131
8.2ZooKeeper数据模型132
8.3ZooKeeper基本架构133
8.4ZooKeeper程序设计134
8.4.1ZooKeeperAPI135
8.4.2ApacheCurator139
8.5ZooKeeper应用案例142
8.5.1leader选举142
8.5.2分布式队列143
8.5.3负载均衡143
8.6小结144
8.7本章问题145
第9章资源管理与调度系统YARN146
9.1YARN产生背景146
9.1.1MRv1局限性146
9.1.2YARN设计动机147
9.2YARN设计思想148
9.3YARN的基本架构与原理149
9.3.1YARN基本架构149
9.3.2YARN高可用152
9.3.3YARN工作流程153
9.4YARN资源调度器155
9.4.1层级队列管理机制155
9.4.2多租户资源调度器产生背景156
9.4.3Capacity/FairScheduler157
9.4.4基于节点标签的调度160
……
16.4本章问题