Hive入门与大数据分析实战(大数据技术丛书)

Hive是基于Hadoop的一 个数据仓库工具，用来进行 数据的提取、转换、加载， 这是一种可以存储、查询和 分析存储在Hadoop中的大 规模数据的机制。Hive能将 结构化的数据文件映射为一 张数据库表，并能提供SQL 查询分析功能，将SQL语句 转换成MapReduce任务来 执行，从而实现对数据进行 分析的目的。本书配套示例 源码、PPT课件、教学大纲 。 本书共分11章，内容包 括数据仓库与Hive、Hive部 署与基本操作、Hive语法基 础、Hive数据定义、Hive数 据操作、Hive查询、Hive函 数、Hive数据压缩、Hive调 优、基于Hive的网站流量分 析项目实战、旅游酒店评价 大数据分析项目实战。最后 的两个项目实战（均包括 SQL和Java编程两种解决方 法）帮助读者提高Hive大数 据分析的综合实战能力。 本书可作为Hive数据仓 库初学者的入门书，也可作 为Hive大数据分析与大数据 应用开发工程师的指导手册 ，还可作为高等院校或者高 职高专计算机技术、人工智 能、大数据技术及相关专业 的教材或教学参考书。

迟殿委，南昌大学计算机软件与理论专业硕士，系统架构设计师。有多年企业软件研发经验和丰富的JavaEE、大数据技术培训经验，熟练掌握JavaEE与大数据全栈技术框架，擅长JavaEE系统架构设计、大数据分析与挖掘。著有图书《Hadoop大数据分析技术》 《Hadoop+Spark大数据分析实战》《Spring Boot企业级开发实战（视频教学版）》《深入浅出Java编程》《Spring Boot+Spring Cloud微服务开发》。

第1章 数据仓库与Hive 1.1 数据仓库概述 1.1.1 数据仓库特征与重要概念 1.1.2 数据仓库的数据存储方式 1.2 Hive数据仓库简介 1.3 Hive版本和MapReduce版本的WordCount比较 1.4 Hive和Hadoop的关系 1.5 Hive和关系数据库的异同 1.6 Hive数据存储简介 第2章 Hjve部署与基本操作 2.1 Linux环境的搭建 2.1.1 VirtualBox虚拟机安装 2.1.2 安装Linux操作系统 2.1.3 SSH工具与使用 2.1.4 Linux统一设置 2.2 Hadoop伪分布式环境的搭建 2.2.1 安装本地模式运行的Hadoop 2.2.2 Hadtoop伪分布式环境的准备 2.2.3 Hadtoop伪分布式的安装 2.3 Hadoop完全分布式环境的搭建 2.3.1 Hadoop完全分布式集群的搭建 2.3.2 ZooKeeper高可靠集群的搭建 2.3.3 Hadoop高可靠集群的搭建 2.4 Hive的安装与配置 2.4.1 Hive的安装与启动 2.4.2 基本的SQL操作命令 2.5 Hive的一些命令 2.5.1 显示Hive的帮助 2.5.2 显示Hive某个命令的帮助 2.5.3 变量与属性 2.5.4 指定SQL语句或文件 2.5.5 显示表头 2.6 Hive元数据库 2.6.1 Derby 2.6.2 MySQL 2.7 MySQL的安装 2.8 配置MySQL保存Hive元数据 2.9 HiveServer2与Beeline配置 第3章 Hive语法基础 3.1 数据类型列表 3.2 集合类型 3.2.1 array测试 3.2.2 map测试 3.2.3 struct测试 3.3 数据类型转换 3.4 运算符 3.5 Hive表存储格式 3.6 Hive的其他操作命令 3.7 Hive分析Tomcat日志案例 第4章 Hive数据定义 4.1 数据库的增删改查 4.1.1 在默认位置创建数据库 4.1.2 指定目录创建数据库 4.1.3 显示当前使用的数据库 4.1.4 删除数据库 4.2 创建内部表 4.3 使用关键字external创建外部表 4.3.1 指定现有目录 4.3.2 先创建表，再指定目录 4.3.3 显示某个表或某个分区的信息 4.4 创建分桶表 4.5 分区表 4.5.1 创建和显示分区表 4.5.2 增加、删除和修改分区 4.6 显示某张表的详细信息 4.7 指定输入输出都是SequenceFile类型 4.8 关于视图 4.8.1 使用视图降低查询的复杂度 4.8.2 查看视图的信息 4.8.3 删除视图 第5章 Hive数据操作 5.1 向表中装载数据 5.2 通过Insert向表中插入数据 5.3 动态分区插入数据 5.4 创建表并插入数据 5.5 导出数据 第6章 Hive查询 6.1 Select…From语句 6.2 Select基本查询 6.3 Where语句 6.4 GroupBy语句 6.5 Join语句 6.6 排序 6.6.1 Order By 6.6.2 Sort By 6.6.3 Distrilbute By 6.6.4 Cluster By 6.7 抽样查询 第7章 Hive函数 7.1 查看系统内置函数 7.2 常用内置函数 7.3 Hive的其他函数 7.3.1 准备数据 7.3.2 其他函数的使用 7.3.3 显示某个函数的帮助信息 7.4 自定义函数 7.4.1 Hive自定义UDF的过程 7.4.2 HiveUDTF函数 第8章 Hive数据压缩 8.1 数据压缩格式 8.2 数据压缩配置 8.2.1 Snappy压缩方式配置 8.2.2 MapReduce支持的压缩编码 8.2.3 MapReduce压缩参数配置 8.3 开启Map端和Reduce端的输出压缩 8.4 常用Hive表存储格式比较 8.5 存储与压缩相结合 第9章 Hive调优 9.1 Hadoop计算框架特性 9.2 Hive优化的常用手段 9.3 Hive优化要点 9.3.1 全排序 9.3.2 怎样做笛卡儿积 9.3.3 怎样写exist/in子句 9.3.4 怎样决定Reducer个数 9.3.5 合并MapReduce操作 9.3.6 Bucket与Sampling 9.3.7 Partition 9.3.8 Join 9.3.9 数据倾斜 9.3.10 合并小文件 9.3.11 Group By 第10章 基于Hive的网站流量分析项目实战 10.1 项目需求及分析 10.1.1 数据集及数据说明 10.1.2 功能需求 10.2 利用Java实现数据清洗 10.2.1 数据上传到HDFS 10.2.2 http.log数据清洗 10.2.3 phone.txt数据清洗 10.3 利用MySQL实现数据清洗 10.3.1 http.log数据清洗 10.3.2 phone.txt数据清洗 10.4 数据分析的实现 10.4.1 创建Hive库和表 10.4.2 使用SQL进行数据分析 第11章 旅游酒店评价大数据分析项目实战 11.1 项目介绍 11.2 项目需求及分析 11.2.1 数据集及数据说明 11.2.2 功能需求 11.3 利用Java实现数据清洗 11.3.1 本地Hadoop运行环境搭建 11.3.2 数据上传到HDFS 11.3.3 Hadoop数据清洗 11.4 利用MySQL实现数据清洗 10.4.1 hotelbasic.csv数据清洗 10.4.2 hoteldata.csv数据清洗 11.5 数据分析的实现 11.5.1 构