大数据技术

（1）本书是华为认证教材之一。全书以华为ICT大数据技术培训认证考试的考试大纲为主线，包括了大数据行业与技术趋势、分布式文件系统、Hive分布式数据仓库、HBase技术原理、MapReduce和YARN技术原理、Spark基于内存的分布式计算、Flink流批一体分布式实时处理引擎、数据采集与数据装载工具、Kafka分布式消息订阅系统、高可靠集群安全模式、分布式全文检索ElasticSearch、Redis内存数据库、华为大数据解决方案等内容。 （2）在涵盖华为ICT大数据技术培训认证相关内容的同时，本书在部分章节增加了实操案例，并强化了ZooKeeper、Kafka、Flink、Redis等的相关介绍，特别是在高可靠集群安全模式、华为大数据解决方案以及华为自身大数据组件介绍方面具有鲜明的特点。

本书系统、全面地介绍大数据技术的基础知识。全书共13章，首先介绍大数据行业与技术趋势；然后介绍大数据生态圈的各项技术，包括分布式文件系统、Hive分布式数据仓库、HBase技术原理、MapReduce和YARN技术原理、Spark基于内存的分布式计算、Flink流批一体分布式实时处理引擎、数据采集与数据装载工具、Kafka分布式消息订阅系统、高可靠集群安全模式、分布式全文检索Elasticsearch、Redis内存数据库等；最后介绍华为大数据解决方案。通过学习本书所讲内容，读者可以整体了解大数据技术，掌握大数据生态圈中各项技术最为基础和关键的知识。本书可作为数据科学与大数据、软件工程、计算机科学与技术等专业的大数据概论课程的教材，也可供大数据工程技术人员学习或参考使用，还可作为华为HCIA认证考试的培训教材。

第1章 大数据行业与技术趋势
1.1 大数据时代
1.1.1 大数据的定义
1.1.2 大数据分析与传统数据分析
1.1.3 大数据时代已经到来
1.2 大数据应用领域
1.3 大数据时代企业所面临的挑战和机遇
1.3.1 大数据时代企业所面临的挑战
1.3.2 大数据时代企业所面临的机遇
1.4 大数据代表技术和解决方案
1.4.1 大数据代表技术
1.4.2 大数据解决方案
1.5 本章小结
1.6 习题
第2章 分布式文件系统
2.1 文件系统概述
2.2 HDFS架构
2.2.1 HDFS体系结构
2.2.2 HDFS中的数据流
2.3 HDFS关键特性
2.3.1 HDFS高可用性
2.3.2 HDFS元数据持久化
2.3.3 HDFS联邦
2.3.4 HDFS视图文件系统
2.3.5 HDFS机架感知策略
2.3.6 HDFS集中式缓存管理
2.3.7 配置HDFS数据存储策略
2.3.8 HDFS同分布
2.4 HDFS操作
2.4.1 使用命令行访问HDFS
2.4.2 使用Java API访问HDFS
2.5 ZooKeeper
2.5.1 ZooKeeper体系结构
2.5.2 ZooKeeper读/写机制
2.5.3 ZooKeeper关键特性
2.5.4 ZooKeeper命令行操作
2.6 本章小结
2.7 习题
第3章 Hive分布式数据仓库
3.1 数据仓库
3.1.1 数据仓库的定义
3.1.2 数据仓库和数据库的区别
3.1.3 数据仓库的系统结构
3.2 Hive概述和体系结构
3.2.1 Hive概述
3.2.2 Hive的体系结构
3.2.3 Hive与传统数据仓库
3.2.4 Hive数据存储模型
3.3 Hive基本操作
3.3.1 Hive数据基本操作
3.3.2 用户自定义函数
3.3.3 Hive数据压缩与文件存储格式
3.4 Hive增强特性
3.4.1 支持HDFS同分布
3.4.2 支持列加密功能
3.4.3 支持HBase删除功能
3.4.4 指定行分隔符
3.4.5 其他增强特性
3.5 本章小结
3.6 习题
第4章 HBase技术原理
4.1 NoSQL数据库
……
第5章 MapReduce和YARN技术原理
第6章 Spark基于内存的分布式计算
第7章 Flink流批一体分布式实时处理引擎
第8章 数据采集与数据装载工具
第9章 Kafka分布式消息订阅系统
第10章 高可靠集群安全模式
第11章 分布式全文检索Elasticsearch
第12章 Redis内存数据库
第13章 华为大数据解决方案