大数据应用技术 原理+技术+实战

（1）理论+案例的编写风格：以简练的语言进行理论知识的讲解，配上丰富而实用的案例，并且书中多用“图”来讲解说明知识点，更有效地帮助读者理解。 （2）充分考虑学生学习之便利：考虑到当今大学生的实际情况，教材所选的实例贴近读者的理解水平，术语引入节奏合理，不会让读者产生晦涩的感觉，其个别难点，尽量讲解详尽与清晰。

本书主要结合当前流行的大数据框架Hadoop、HBase、Hive、、Storm、Flume、Kafka、Spark、SparkGraphX，采用案例形式系统地讲解大数据应用技术的相关知识。全书共有8章，分别介绍了大数据概论、大数据基础知识、大数据文件存储系统、大数据文件存储系统、大数据计算技术、大数据应用程序协调服务、大数据存储应用技术、大数据仓库应用技术、大数据实时应用技术。为了让读者能够及时地检验自己的学习效果，把握自己的学习进度，各章后面都附有相应的习题。本书提供丰富的配套资源，包括教学课件PPT、习题参考答案等，读者可登录人邮教育社区（www.ryjiaoyu.com.cn）进行下载。本书既可以作为高等院校大数据及其相关专业的教材，又可以作为大数据相关技术人员自学的参考书。

第1章大数据概论
1.1数据的基本概念
1.1.1什么是数据
1.1.2数据组成结构
1.1.3数据的价值
1.2什么是大数据
1.2.1大数据产生背景
1.2.2大数据发展的原动力
1.2.3大数据基本概念与特征
1.2.4大数据与云计算
1.2.5大数据与人工智能
1.3大数据主要技术
1.3.1概述
1.3.2大数据采集与处理
1.3.3大数据存储技术
1.3.4大数据计算技术
1.3.5大数据可视化
1.3.6大数据安全
1.4大数据主流框架
1.4.1Hadoop
1.4.2ZooKeeper
1.4.3HBase
1.4.4Hive
1.4.5Storm
1.4.6Flume
1.4.7Kafka
1.5本章小结
1.6习题
第2章大数据基础知识
2.1概述
2.1.1Hadoop产生背景
2.1.2Hadoop核心模块
2.1.3Hadoop相关项目
2.2Common
2.3HDFS
2.3.1HDFS设计思想
2.3.2HDFS体系结构
2.3.3文件系统命名空间
2.3.4数据复制
2.3.5副本放置策略
2.3.6副本选择
2.3.7安全模式
2.3.8元数据的持久性
2.3.9通信协议
2.3.10健壮性
2.4YARN
2.5MapReduce
2.6Hadoop应用场景
2.7Hadoop环境配置
2.7.1Hadoop配置基础知识
2.7.2Hadoop安装模式
2.7.3Hadoop版本选择
2.7.4Hadoop伪分布模式搭建
2.8基于Hadoop平台的IDEA开发环境撘建
2.8.1Maven项目的创建
2.8.2编写经典的MapReduce程序WordCount
2.9本章小结
2.10习题
第3章大数据文件存储系统
3.1数据块
3.2HDFS工作流
3.2.1HDFS写数据过程
3.2.2HDFS读数据过程
3.3HDFS应用程序设计
3.3.1HDFSShell命令
3.3.2Web接口
3.3.3HDFSAPI
3.3.4HDFSAPI写操作
3.3.5HDFSAPI读操作
3.4HDFS存储格式
3.5HadoopI/O
3.5.1压缩
3.5.21/0序列化类型
3.6本章小结
3.7习题
第4章大数据计算技术
4.1MapReduce运行过程
4.2MapReduce编程过程
4.3MapReduce数据类型
4.4Mapper输入
4.5Shuffle原理
4.5.1Shuffle工作原理
4.5.2自定义分区
4.5.3自定义排序
4.5.4自定义分组
4.6Combiner本地合并优化
4.7Reducer输出
4.8计数器
4.9MapReduce应用开发
4.9.1优选最小计数值
4.9.2全排序
4.9.3二次排序
4.10本章小结
4.11习题
第5章大数据应用程序协调服务
5.1ZooKeeper概述
5.1.1ZooKeeper简介
5.1.2ZooKeeper常用术语
5.1.3ZooKeeper设计目标
5.1.4数据模型和分层命名空间
5.1.5ZooKeeper工作原理
5.2ZooKeeper集群搭建
5.2.1集群规划
5.2.2ZooKeeper集群安装
5.3ZooKeeper与Hadoop高可用性
5.4Hadoop高可用性集群部署
5.4.1集群规划
5.4.2集群部署
5.5本章小结
5.6习题
第6章大数据存储应用技术
6.1HBase基础知识
6.1.1HBase产生背景
6.1.2HBase数据模型
6.1.3HBase体系结构
6.1.4HBase与HDFS
6.1.5HBase应用场景
6.2HBase开发环境配置
6.2.1HBase配置前的准备工作
6.2.2HBase配置基础知识
6.2.3HBase集群环境配置
6.3HBaseShell
6.4HBaseAPI
6.4.1管理表结构
6.4.2管理表信息
6.4.3信息查询
6.5HBase表设计
6.6本章小结
6.7习题
第7章大数据仓库应用技术
7.1Hive基础知识
7.1.1Hive产生背景
7.1.2Hive体系结构
7.1.3Hive执行流程
7.1.4Hive应用场景
7.2Hive开发环境配置
7.2.1Hive配置基础知识
7.2.2Hive安装模式
7.2.3Hive远程安装模式实战
7.3Hive命令
7.3.1Hive交互命令界面Shell简介
7.3.2Hive非交互界面执行简介
7.4Hive开发基础知识
7.4.1数据类型与文本文件编码
7.4.2数据读取模式
7.4.3Hive关键字
7.5Hive基本操作
7.5.1Hive数据库管理操作
7.5.2Hive表管理操作
7.5.3Hive查询基本语法规则
7.5.4Hive基本查询
7.5.5Hive高级查询
7.5.6HiveJOIN查询
7.6HiveAPI
7.7本章小结
7.8习题
第8章大数据实时应用技术
8.1Storm基础知识
8.1.1Storm基本概述
8.1.2Storm特征
8.1.3Storm系统结构
8.1.4Storm运行原理
8.1.5Storm应用场景
8.2Storm开发环境安装
8.2.1Storm配置基础知识
8.2.2Storm快速部署
……