Hadoop大数据原理与应用实验教程

本书作为《Hadoop大数据原理与应用》(本书作者编写，西安电子科技大学出版社出版)的配套实验教程，系统介绍了Hadoop生态系统中各个开源组件的相关知识和实践技能。全书分为“基础实验篇”和“拓展实验篇”两篇，共10章，涉及数据采集、数据存储与管理、数据处理与分析等大数据应用生命周期中各阶段典型组件的部署、使用和基础编程方法。“基础实验篇”内容包括部署全分布模式Hadoop集群、实战HDFS、MapReduce编程、部署ZooKeeper集群和实战ZooKeeper、部署全分布模式HBase集群和实战HBase、部署本地模式Hive和实战Hive；“拓展实验篇”内容包括部署Spark集群和Spark编程、实战Sqoop、实战Flume、实战Kafka。
本书内容翔实，案例丰富，操作过程详尽，并配有完整的立体化资源，既可作为高等院校研究生、本科生的大数据技术原理与应用课程的实验指导书，也可作为教师参考书，同时也可供相关技术人员参考。

上篇 基础实验篇
实验1 部署全分布模式Hadoop集群
1.1 实验目的、实验环境和实验内容
1.2 实验原理
1.2.1 Linux基本命令
1.2.2 vim编辑器
1.2.3 Java基本命令
1.2.4 SSH安全通信协议
1.2.5 Hadoop
1.3 实验步骤
1.3.1 规划部署
1.3.2 准备机器
1.3.3 准备软件环境
1.3.4 获取和安装Hadoop
1.3.5 配置全分布模式Hadoop集群
1.3.6 关闭防火墙
1.3.7 格式化文件系统
1.3.8 启动和验证Hadoop
1.3.9 关闭Hadoop
1.3.10 实验报告要求
1.4 拓展训练——部署伪分布模式Hadoop集群
1.4.1 规划部署
1.4.2 准备机器
1.4.3 准备软件环境
1.4.4 下载和安装Hadoop
1.4.5 配置Hadoop
1.4.6 格式化文件系统
1.4.7 启动和验证伪分布模式Hadoop集群
1.4.8 关闭伪分布模式Hadoop集群
思考与练习题
参考文献
实验2 实战HDFS
2.1 实验目的、实验环境和实验内容
2.2 实验原理
2.2.1 初识HDFS
2.2.2 HDFS的体系架构
2.2.3 HDFS文件的存储原理
2.2.4 HDFS接口
2.3 实验步骤
2.3.1 启动Hadoop集群
2.3.2 使用HDFS Shell
2.3.3 使用HDFS Web Ul
2.3.4 搭建HDFS的开发环境Eclipse
2.3.5 使用HDFS Java API编程
2.3.6 关闭Hadoop集群
2.3.7 实验报告要求
2.4 拓展训练——搭建HDFS NameNode HA
思考与练习题
参考文献
实验3 MapReduce编程
3.1 实验目的、实验环境和实验内容
3.2 实验原理
3.2.1 MapReduce的编程思想
3.2.2 MapReduce的作业执行流程
3.2.3 MapReduce Web
3.2.4 MapReduce Shell
……
实验4 部署ZooKeeper集群和实战ZooKeeper
实验5 部署全分布模式HBase集群和实战HBase
实验6 部署本地模式Hive和实战Hive
下篇 拓展实验篇
实验7 部署Spark集群和Spark编程
实验8 实战Sqoop
实验9 实战FIume
实验10 实战Kafka