Hive数据仓库应用

"Hive提出海量数据可以继续沿用传统数据分析方法SQL语句来处理的思想，开发人员不需要学习新的计算机语言而继续使用熟悉的SQL结构化查询语句来处理大规模的数据，Hive中的SQL语句我们称之为HiveQL查询语句，HiveQL查询语句的语法结构与传统SQL语句的语法结构几乎是一模一样的。Hive运行在Hadoop分布式系统中，这使得Hive不仅可以使用HDFS进行分布式存储，而且还可以通过MapReduce分布式计算框架来查询数据，相比于传统数据仓库来说，Hive在存储性能和查询效率上都得到了很好的提升。 本书将带领大家认识Hive的相关技术。通过学习本书，使读者对Hive有一个深刻的认识，本书共分为9章。"

本书从理论知识入手，结合数据仓库的概念帮助读者更好地理解Hive，在掌握Hive相关理论知识的基础上，逐步深入地学习Hive。“工欲善其事，必先利其器”，首先从创建虚拟机并安装Linux操作系统开始逐步完成Hive的部署，然后在部署完成的Hive环境基础上，学习Hive数据定义语言、Hive数据操作语言和Hive数据查询语言的相关操作，在学习了上述三种语言之后，接下来深入学习Hive的其他功能，包括Hive内置函数、Hive自定义函数、Hive的新特性事务以及Hive的相关优化，从而帮助读者掌握Hive的强大功能和特性。最后，本书通过一个综合项目——教育大数据分析平台，使读者对Hive数据仓库在实际应用中涉及的相关知识内容具有更深入的理解，在此项目中不仅会涉及使用Hive实现数据仓库分层、数据转换和数据分析的相关操作，而且还涉及使用Sqoop将数据仓库中的数据进行导出和导入，以及使用FineBI工具实现数据可视化功能。 本书附有配套视频、源代码、习题、教学设计、教学课件等资源。同时，为了帮助初学者更好地学习本书的内容，还提供了在线答疑，欢迎读者关注。 本书可以作为高等学校本、专科计算机相关专业，信息管理等相关专业的大数据课程教材，也可以供相关技术人员参考，是一本适合广大计算机编程爱好者的优秀读物。

江苏传智播客教育科技股份有限公司（简称“传智教育”）是一家致力于培养高素质软件开发人才的科技公司，“黑马程序员”是传智教育旗下高端IT教育品牌。高美云是本书创作团队核心成员，编写过多本教材，均畅销多年，深受读者喜爱。

第1章Hive简介1 1.1认识数据仓库1 1.1.1数据仓库简介1 1.1.2数据仓库分层3 1.1.3数据仓库的数据模型5 1.2Hive概述6 1.3Hive架构7 1.4Hive工作原理8 1.5Hive数据类型9 1.6本章小结10 1.7课后习题11 第2章Hive部署12 2.1Linux环境的搭建12 2.1.1创建虚拟机12 2.1.2启动虚拟机并安装Linux操作 系统19 2.1.3克隆虚拟机26 2.1.4配置Linux系统网络及主机名30 2.1.5配置SSH服务34 2.2JDK的部署42 2.3Zookeeper的部署43 2.3.1Zookeeper集群的安装与配置43 2.3.2Zookeeper集群的启动与关闭46 2.4Hadoop的部署48 2.4.1Hadoop高可用集群的规划48 2.4.2安装Hadoop49 2.4.3配置Hadoop高可用集群51 2.4.4启动Hadoop高可用集群58 2.5Hive的部署622.5.1Hive部署之嵌入模式62 2.5.2Hive部署之本地模式64 2.5.3Hive部署之远程模式70 2.6本章小结74 2.7课后习题74 目录Hive数据仓库应用第3章Hive的数据定义语言76 3.1数据库的基本操作76 3.1.1创建数据库76 3.1.2查询数据库77 3.1.3查看数据库信息78 3.1.4切换数据库79 3.1.5修改数据库79 3.1.6删除数据库80 3.2数据表的基本操作81 3.2.1CREATE TABLE句式分析81 3.2.2数据表简介84 3.2.3创建数据表84 3.2.4查看数据表86 3.2.5修改数据表88 3.2.6删除数据表94 3.3分区表95 3.3.1创建分区表95 3.3.2查询分区表96 3.3.3添加分区97 3.3.4重命名分区98 3.3.5移动分区98 3.3.6删除分区100 3.4分桶表101 3.4.1创建分桶表101 3.4.2查看分桶表信息102 3.5临时表103 3.6视图104 3.6.1创建视图105 3.6.2查询视图信息105 3.6.3查看视图106 3.6.4修改视图107 3.6.5删除视图109 3.7索引109 3.7.1Hive中的索引110 3.7.2创建索引110 3.7.3查看索引表111 3.7.4查看索引111 3.7.5重建索引112 3.7.6删除索引113 3.8本章小结114 3.9课后习题114 第4章Hive的数据操作语言116 4.1加载文件116 4.1.1加载文件的语法格式116 4.1.2向分区表加载文件119 4.2基本查询120 4.3插入数据121 4.3.1基本插入121 4.3.2查询插入123 4.3.3向分区表插入数据127 4.4IMPORT和EXPORT131 4.5本章小结133 4.6课后习题133 第5章Hive数据查询语言135 5.1SELECT句式分析135 5.2Hive运算符138 5.2.1关系运算符138 5.2.2算术运算符140 5.2.3逻辑运算符142 5.2.4复杂运算符143 5.3公用表表达式146 5.4分组操作147 5.5排序操作149 5.6UNION语句154 5.7JOIN语句156 5.8抽样查询161 5.8.1随机抽样161 5.8.2分桶抽样162 5.8.3数据块抽样162 5.9本章小结164 5.10课后习题164 第6章Hive函数165 6.1Hive内置函数165 6.1.1聚合函数165 6.1.2数学函数169 6.1.3集合函数170 6.1.4类型转换函数171 6.1.5日期函数172 6.1.6条件函数176 6.1.7字符串函数178 6.1.8表生成函数182 6.2Hive自定义函数185 6.2.1UDF186 6.2.2UDTF196 6.2.3UDAF199 6.3本章小结203 6.4课后习题203 第7章Hive事务205 7.1事务特性205 7.2Hive事务的设计与实现206 7.3开启Hive事务207 7.4更新操作209 7.5删除操作210 7.6本章小结211 7.7课后习题211 第8章Hive优化213 8.1Hive存储优化213 8.2Hive参数优化215 8.2.1配置MapReduce压缩215 8.2.2配置Map个数216 8.2.3配置Reduce个数217 8.2.4配置合并文件217 8.2.5配置并行执行218 8.2.6配置本地模式218 8.2.7配置分组219 8.3HiveQL语句优化技巧219 8.4本章小结219 8.5课后习题220 第9章综合项目——教育大数据分析平台221 9.1项目概述221 9.1.1项目背景介绍221 9.1.2需求分析222 9.1.3原始数据结构222 9.1.4数据仓库分层设计223 9.1.5项目架构224 9.2部署Sqoop225 9.3实现数据仓库分层227 9.4数据采集231 9.5数据转换235 9.6数据分析237 9.6.1实现地区访问用户量统计237 9.6.2实现会话页面排行榜238 9.6.3实现访问用户量统计240 9.6.4实现来源渠道访问用户量统计241 9.6.5实现咨询率统计242 9.7数据可视化245 9.7.1导出数据245 9.7.2安装、启动与配置FineBI247 9.7.3实现数据可视化260 9.8本章小结271