Hadoop大数据基础实训教程

本书以Hadoop大数据技术生态圈主流框架的应用为主线，介绍了数据处理与分析中典型软件的使用和基础编程方法。 全书共包含七个基础实训和两个综合案例，内容涵盖操作系统（Linux）、开发工具（IDEA和Maven）以及大数据相关软件（Hadoop、HDFS、HBase、Hive、MapReduce、Spark、MySQL）等，可以较好地满足大数据实践教学需求。 本书适合作为高等学校大数据技术及相关专业的教材，也可作为教学辅助用书与其他大数据教材配套使用。

实训1 Linux操作系统的安装
1.1 实训目的
1.2 实训要求
1.3 实训原理
1.3.1 虚拟化技术
1.3.2 Linux
1.3.3 Xmanager
1.3.4 JDK
1.3.5 SSH免密登录
1.3.6 同步时钟
1.4 实训步骤
1.4.1 安装和配置Linux虚拟机
1.4.2 安装和配置Linux系统
1.4.3 搭建Linux集群
实训2 Hadoop的安装和配置
2.1 实训目的
2.2 实训要求
2.3 实训原理
2.3.1 Hadoop
2.3.2 Ambari
2.3.3 Docker
2.4 实训步骤
2.4.1 手工搭建方式
2.4.2 Ambari自动化搭建方式
2.4.3 使用Docker搭建Hadoop分布式集群
实训3 HDFS操作方法和基础编程
3.1 实训目的
3.2 实训要求
3.3 实训原理
3.3.1 HDFS
3.3.2 HDFS Shell
3.3.3 HDFS Java API
3.3.4 HDFS运行原理
3.4 实训步骤
3.4.1 HDFS Shell基本操作
3.4.2 Java API基本操作
3.4.3 Java API 读写数据
实训4 HBase与Hive的安装和配置
4.1 实训目的
4.2 实训要求
4.3 实训原理
4.3.1 HBase
4.3.2 Hive
4.4 实训步骤
4.4.1 安装Zookeeper
4.4.2 安装HBase
4.4.3 安装Hive
实训5 MapReduce 基础编程
5.1 实训目的
5.2 实训要求
5.3 实训原理
5.3.1 MapReduce编程思想
5.3.2 单词频数统计
5.3.3 YARN框架
5.4 实训步骤
实训6 Spark的安装和配置
6.1 实训目的
6.2 实训要求
6.3 实训原理
6.3.1 Zookeeper
6.3.2 Spark
6.3.3 Spark 编程原理
6.4 实训步骤
6.4.1 搭建Zookeeper分布式集群
6.4.2 搭建Spark分布式集群
6.4.3 运行Spark分布式集群
实训7 Hadoop开发环境的安装和部署
7.1 实训目的
7.2 实训要求
7.3 实训原理
7.3.1 IntelliJ IDEA
7.3.2 Eclipse
7.3.3 Maven
7.3.4 Tomcat
7.3.5 MySQL
7.4 实训步骤
7.4.1 部署 IDEA
7.4.2 部署 Eclipse
7.4.3 部署 Scala SDK
7.4.4 部署 Maven
7.4.5 部署Tomcat服务器
7.4.6 部署MySQL服务器
实训8 综合案例1——电信流量大数据分析统计
8.1 案例背景
8.2 优化词频统计项目
8.3 使用Spark 的local模式进行数据清洗ETL实战
实训9 综合案例2——基于Hadoop的云盘信息管理系统的设计与实现
9.1 案例背景
9.2 系统开发工具与技术
9.2.1 HDFS
9.2.2 JSP技术
9.2.3 Apache Tomcat 服务器
9.2.4 MySQL数据库
9.3 搭建开发环境
9.3.1 搭建Hadoop开发环境
9.3.2 安装和配置开发工具
9.4 系统分析
9.5 系统设计
9.6 部分模块代码实现