大数据基础教程 微课版

本书以Centos 7、Eclipse等为实验开发工具，搭建了Hadoop、HBase、ZooKeeper、Spark等相应的实验集群，通过相关经典实验案例，使学生能较快掌握大数据基础理论知识和综合实践能力。本书配套实验演示视频，增强学习效果。

这是一本以理论加实践为导向的大数据基础教程，本书结合作者自身在云计箅及大数据相关领域的知识，经实践和验证而完成。本书内容主要包括大数据相关定义及概念、Apache架构与ApacheHadoop的基本概念、Hadoop的搭建及相关实验、Hadoop分布式文件系统（HDFS）及相关实验、YARN的基本架构、MapReduce的基本知识及相关实验、Hive及相关实验、HBase及相关实验、ZooKeeper及相关实验、Spark及相关实验、ApacheKafka分布式消息系统等。
本书各章提供了必要的理论基础知识和基础实验，便于读者全面深入地掌握大数据基础技术的知识点，适合作为高校大数据、人工智能及相关专业的教材。

王成良，男，已从事教学和科研工作近30年。一直在重庆大学计算机学院和软件学院从事多媒体技术、计算机网络、数据库技术等课程的教学工作。

第1章 大数据概述
1.1 大数据发展背景
1.1.1 引言
1.1.2 发展历程
1.2 大数据相关概念及特点
1.2.1 大数据特点
1.2.2 相关概念介绍
1.3 大数据应用过程
1.3.1 数据采集
1.3.2 预处理
1.3.3 数据存储管理
1.3.4 数据挖掘分析
1.4 大数据技术
1.4.1 大数据集群
1.4.2 大数据技术架构
1.5 大数据行业应用
1.5.1 互联网与电子商务行业
1.5.2 医疗健康行业
1.5.3 交通行业大数据应用
1.5.4 金融行业
1.5.5 政府机构
1.5.6 零售业
1.5.7 其他应用领域
1.6 大数据的挑战和机遇
1.6.1 大数据的挑战
1.6.2 大数据的机遇
1.7 本书内容结构介绍
第2章 Hadoop基础
2.1 概念介绍
2.1.1 架构
2.1.2 Apache Hadoop概述
2.2 Hadoop的安全性
2.2.1 安全问题
2.2.2 Simple机制
2.2.3 Kerberos机制
2.2.4 委托令牌
2.3 实验环境准备
2.3.1 虚拟机安装
2.3.2 CentOS 7 系统安装
2.3.3 其他软件安装
2.4 搭建Hadoop
2.4.1 CentOS 7系统配置
2.4.2 SSH免密码登录
2.4.3 配置JDK
2.4.4 解压Hadoop
2.4.5 配置Hadoop
2.4.6 启动Hadoop
第3章 HDFS的介绍和简单操作
3.1 Hadoop分布式文件系统(HDFS)
3.2 HDFS的原理
3.3 HDFS写操作
3.4 HDFS读操作
3.5 HDFS删除操作
3.6 HDFS常用命令
3.7 实验
3.7.1创建
3.7.2上传文件命令
3.7.3 罗列HDFS上的文件
3.7.4 查看HDFS里某一个文件
3.7.5 将HDFS中的文件复制到本地
3.7.6 递归删除HDFS下的文档
第4章 YARN的原理和操作
4.1 YARN简介
4.1.1 YARN的概念及背景
4.1.2 YARN的使用
4.1.3 YARN介绍
4.2 YARN的基本架构
4.3 YARN的工作流程
4.4 YARN协议
4.5 YARN的优点
第5章 MapReduce的介绍和简单使用
5.1 MapReduce简介
5.2 Map过程
5.3 Reduce过程
5.4 开发环境的搭建
5.5 实验
5.5.1 单词计数
5.5.2 二次排序实验
5.5.3 计数器实验
第6章 Hive
6.1 Hive 简介
6.1.1 Hive基础
6.1.2 Hive的工作原理
6.1.3 Hive与传统数据库
6.2 HiveQL基础
6.3 Hive的安装与配置
6.3.1 搭建Hive
6.3.2 安装配置MySQL
6.3.3 配置Hive
6.4 实验
第7章 HBase
7.1 HBase简介
7.1.1 HBase基础
7.1.2 HBase数据模型
7.1.3 HBase访问接口
7.2 HBase与RDBMS
7.3 HBase的安装与配置
7.3.1 伪分布式安装
7.3.2 接近分布式
7.4 实验
第8章 ZooKeeper基础
8.1 ZooKeeper简介
8.1.1 概念简介
8.1.2 主要特点
8.2 ZooKeeper体系结构
8.3 关键算法ZAB
8.4 ZooKeeper集群搭建
8.5 ZooKeeper四字命令
8.6 实验
8.6.1 ZooKeeper客户端
8.6.2 ZooKeeper Java API的使用
第9章 Spark基础
9.1 Spark介绍
9.1.1 概念介绍
9.1.2 组件介绍
9.1.3 特性
9.2 Spark主要架构
9.3 Spark计算模型
9.4 Spark运行模式
9.5 Spark SQL
9.5.1 Hive and Shark
9.5.2 Shark和Spark SQL
9.5.3 Spark SQL运行架构
9.5.4 sqlContext和hiveContext的运行过程
9.6 Spark Steaming
9.6.1 术语定义
9.6.2 Storm与Spark Streaming的比较
9.6.3 运行原理
9.7 安装Spark
9.8 实验
第10章 Apache Kafka
10.1 基础概念介绍
10.1.1 消息队列
10.1.2 消息中间件
10.2 Kafka结构
10.3 Producer和Consumer
10.3.1 Kafka Producer
10.3.2 Kafka Consumer
10.3.3 消费状态跟踪
10.4 Kafka的特性
10.5 消息与日志
10.5.1 写操作
10.5.2 读操作
10.5.3 删除操作
10.5.4 消息可靠性
10.6 实验
10.6.1 Kafka集群搭建
10.6.2 消息发送与接收
参考文献