从零开始学HADOOP大数据分析(视频教学版)

本书针对愿意加入大数据行业的初学者量身定做，以简练风趣的语言介绍了大数据程核心技术及相关案例。内容包括了数据的基本概念、Hadoop的安装与配置、HDFS、基于Hadoop3的HDFS高可用、Zookeeper、MapReduce、YARN、Sqoop、KafKa、Redis，每个知识点配有可运行的案例，同时结合企业实际案例，让读者能够掌握从大数据环境搭建到大数据核心技术，并且进一步熟悉企业案例的分析及开发过程，从而轻松进入到大数据领域。本书实用性强，非常适合Hadoop大数据分析入门读者阅读，也适合相关院校作为大数据分析与挖掘的教材使用。

温春水，毕业于中国人民大学，获硕士学位。历任森途国信新工科研究院院长、大唐网络和三点一刻大数据技术总监，负责大数据技术架构。12年以上的IT从业经验，其中从事IT培训超过5年，直接授课学员超过3万人。受邀为燕山石化和中国石油等企业完成了Python及大数据技术企业内训；受聘面向哈尔滨工业大学、南开大学、天津大学、华南农业大学、山东科技大学、北京交通大学、西安交通大学、天津师范大学和北京航空航天大学等高校的本科生及研究生讲授项目管理、需求分析、软件体系设计和项目开发等课程。

前言第1篇 Hadoop基础知识第1章 初识Hadoop21.1 大数据初探21.1.1 大数据技术21.1.2 大数据技术框架31.1.3 大数据的特点31.1.4 大数据在各个行业中的应用41.1.5 大数据计算模式41.1.6 大数据与云计算、物联网的关系41.2 Hadoop简介51.2.1 Hadoop应用现状61.2.2 Hadoop简介与意义61.3 小结6第2章 Hadoop的安装与配置72.1 虚拟机的创建72.2 安装Linux系统102.3 配置网络信息112.4 克隆服务器122.5 SSH免密码登录132.6 安装和配置JDK152.6.1 上传安装包152.6.2 安装JDK162.6.3 配置环境变量162.7 Hadoop环境变量配置162.7.1 解压缩Hadoop压缩包172.7.2 配置Hadoop的bin和sbin文件夹到环境变量中172.7.3 修改/etc/hadoop/hadoop-env.sh172.8 Hadoop分布式安装172.8.1 伪分布式安装172.8.2 接近分布式安装192.9 小结21第3章 Hadoop分布式文件系统223.1 DFS介绍223.1.1 什么是DFS223.1.2 DFS的结构223.2 HDFS介绍233.2.1 HDFS的概念及体系结构233.2.2 HDFS的设计233.2.3 HDFS的优点和缺点243.2.4 HDFS的执行原理243.2.5 HDFS的核心概念253.2.6 HDFS读文件流程273.2.7 HDFS写文件流程283.2.8 Block的副本放置策略293.3 Hadoop中HDFS的常用命令303.3.1 对文件的操作303.3.2 管理与更新313.4 HDFS的应用313.4.1 基于Shell的操作313.4.2 基于Java API的操作333.4.3 创建文件夹343.4.4 递归显示文件343.4.5 文件上传353.4.6 文件下载353.5 小结36第4章 基于Hadoop 3的HDFS高可用374.1 Hadoop 3.x的发展374.1.1 Hadoop 3新特性374.1.2 Hadoop 3 HDFS集群架构384.2 Hadoop 3 HDFS接近分布式搭建394.2.1 安装JDK404.2.2 配置JDK环境变量404.2.3 配置免密码登录404.2.4 配置IP和主机名字映射关系414.2.5 SSH免密码登录设置414.2.6 配置Hadoop 3.1.0424.3 什么是HDFS高可用474.3.1 HDFS高可用实现原理474.3.2 HDFS高可用实现484.4 搭建HDFS高可用504.4.1 配置ZooKeeper504.4.2 配置Hadoop配置文件524.4.3 将配置文件复制到其他节点上544.4.4 启动JN节点544.4.5 格式化554.4.6 复制元数据到node2节点上554.4.7 格式化ZKFC554.4.8 启动集群564.4.9 通过浏览器查看集群状态564.4.10 高可用测试574.5 小结58第2篇 Hadoop核心技术第5章 Hadoop的分布式协调服务——ZooKeeper605.1 ZooKeeper的核心概念605.1.1 Session会话机制605.1.2 数据节点、版本与Watcher的关联615.1.3 ACL策略615.2 ZooKeeper的安装与运行615.3 ZooKeeper服务器端的常用命令635.4 客户端连接ZooKeeper的相关操作645.4.1 查看ZooKeeper常用命令645.4.2 connect命令与ls命令655.4.3 create命令——创建节点655.4.4 get命令——获取数据与信息665.4.5 set命令——修改节点内容665.4.6 delete命令——删除节点675.5 使用Java API访问ZooKeeper675.5.1 环境准备与创建会话实例685.5.2 节点创建实例695.5.3 Java API访问ZooKeeper实例705.6 小结73第6章 分布式离线计算框架——MapReduce746.1 MapReduce概述746.1.1 MapReduce的特点746.1.2 MapReduce的应用场景756.2 MapReduce执行过程766.2.1 单词统计实例766.2.2 MapReduce执行过程776.2.3 MapReduce的文件切片Split776.2.4 Map过程和Reduce过程786.2.5 Shuffle过程786.3 MapReduce实例796.3.1 WordCount本地测试实例796.3.2 ETL本地测试实例846.4 温度排序实例866.4.1 时间和温度的封装类MyKey.Java876.4.2 Map任务MyMapper.java886.4.3 数据分组类MyGroup.Java896.4.4 温度排序类MySort.java896.4.5 数据分区MyPartitioner.java906.4.6 Reducer任务MyReducer.java906.4.7 主函数RunJob.java916.5 小结94第7章 Hadoop的集群资源管理系统——YARN957.1 为什么要使用YARN957.2 YARN的基本架构967.2.1 ResourceManager进程967.2.2 ApplicationMaster和NodeManager977.3 YARN工作流程977.4 YARN搭建987.5 小结100第8章 Hadoop的数据仓库框架——Hive1018.1 Hive的理论基础1018.1.1 什么是Hive1018.1.2 Hive和数据库的异同1028.1.3 Hive设计的目的与应用1048.1.4 Hive的运行架构1048.1.5 Hive的执行流程1058.1.6 Hive服务1068.1.7 元数据存储Metastore1068.1.8 Embedded模式1078.1.9 Local模式1088.1.10 Remote模式1098.2 Hive的配置与安装1098.2.1 安装MySQL1108.2.2 配置Hive1128.3 Hive表的操作1138.3.1 创建Hive表1148.3.2 导入数据1148.4 表的分区与分桶1158.4.1 表的分区1158.4.2 表的分桶1178.5 内部表与外部表1188.5.1 内部表1198.5.2 外部表1198.6 内置函数与自定义函数1218.6.1 内置函数实例121