Hadoop大数据平台技术与应用

本书以案例为驱动，系统介绍Hadoop大数据平台技术及其应用，Hadoop生态圈组件的工作机制、管理与开发，以及基于Hadoop大数据平台的大数据业务解决方案。全书共10章，包括Hadoop分布式集群、伪分布式集群的安装与配置，Hadoop平台开发工具的安装与配置，大数据存储与管理技术（分布式文件系统、分布式数据库HBase）、大数据分析技术（MapReduce计算框架、数据仓库Hive）、大数据迁移工具（Sqoop）、大数据采集工具（Flume），并利用Hadoop生态圈组件构建一个网站日志分析项目的解决方案，完成整个大数据业务处理流程。
本书适合作为高等院校大数据相关专业的教材，也适合作为Hadoop大数据平台技术的初学者，以及初、中级Hadoop大数据平台管理与开发人员的培训教材。

孙风栋，大连东软信息学院教授，主讲Oracle数据库管理与开发、数据库原理与应用、大数据技术等课程，研究方向是数据库系统及其应用、数据挖掘、大数据应用等。

第1章大数据技术与Hadoop概述
1．1大数据技术概述
1．1．1大数据技术发展
1．1．2大数据基本特征
1．1．3大数据关键技术
1．1．4大数据技术应用
1．2Hadoop概述
1．2．1Hadoop简介
1．2．2Hadoop核心组件
1．2．3Hadoop生态圈组件
1．2．4Hadoop架构
本章小结
思考题与习题
第2章Hadoop平台和开发环境的安装与配置
2．1Hadoop平台安装准备
2．1．1VMware安装与配置
2．1．2Ubuntu安装与配置
2．1．3网络配置
2．2Hadoop伪分布式集群安装与配置
2．2．1创建用户hadoop
2．2．2修改主机名与域名映射
2．2．3SSH免密码登录设置
2．2．4安装Java环境
2．2．5伪分布式集群安装与配置
2．3Eclipse开发环境安装与配置
2．3．1Maven安装与配置
2．3．2Eclipse安装与配置
2．3．3Eclipse中Maven设置
本章小结
思考题与习题
第3章分布式文件系统
3．1HDFS概述
3．1．1HDFS架构
3．1．2HDFS设计目标
3．1．3HDFS高可用架构
3．1．4HDFS架构的优劣性
3．2HDFS工作机制
3．2．1HDFS数据存储策略
3．2．2HDFS数据读取策略
3．2．3HDFS数据错误与恢复
3．2．4HDFS数据读写过程
3．3HDFSShell管理
3．3．1HDFS文件操作命令
3．3．2HDFS系统管理命令
3．3．3HDFSShell操作实例
3．4HDFSJava开发
3．4．1HDFSJava程序设计基础
3．4．2HDFS程序设计流程
3．4．3常用HDFSJavaAPI
3．4．4HDFS开发实例
本章小结
思考题与习题
第4章MapReduce
4．1MapReduce概述
4．1．1MapReduce简介
4．1．2MapReduce计算模型
4．1．3MapReduce编程模型
4．2MapReduce架构
4．2．1MapReduceV1架构
4．2．2MapReduceV2架构
4．3MapReduce编程组件
4．3．1MapReduce编程流程
4．3．2InputFormat
4．3．3InputSplit
4．3．4RecordReader
4．3．5Mapper
4．3．6Shuffle
4．3．7Reducer
4．3．8OutputFormat
4．3．9序列化与反序列化
4．4WordCount程序设计实例
4．4．1准备输入文件
4．4．2创建Maven工程
4．4．3配置Maven工程
4．4．4程序设计
4．4．5工程打包、部署与运行
4．4．6定制WordCount程序设计
4．5MapReduce开发典型案例
4．5．1数据去重
4．5．2数据排序
4．5．3计算平均值
4．6网站浏览量统计分析
本章小结
思考题与习题
第5章分布式数据库HBase
5．1HBase概述
5．1．1HBase简介
5．1．2HBase特性
5．1．3HBase适用场景
5．2HBase数据模型
5．2．1HBase基本概念
5．2．2概念视图
5．2．3物理视图
5．3HBase体系结构
5．4HBase安装与配置
5．4．1HBase运行模式
5．4．2HBase安装准备
5．4．3HBase伪分布式集群安装与配置
5．5HBaseShell
5．5．1HBaseShell简介
5．5．2General命令组
5．5．3DDL命令组
5．5．4DML命令组
5．5．5查询过滤器
5．6HBase程序设计
5．6．1HBaseJavaAPI简介
5．6．2Hbase表管理程序设计
5．6．3HBase数据操作程序设计
5．6．4HBaseFilterAPI
5．7HBase与MapReduce融合
5．7．1HBase与MapReduce融合概述
5．7．2HBaseMapReduceJavaAPI
5．7．3HBaseMapReduce程序设计
5．8HBase学生成绩分析
5．8．1任务描述
5．8．2导入原始数据到HBase
5．8．3统计学生平均成绩
本章小结
思考题与习题
第6章数据仓库Hive
6．1Hive基础
6．1．1Hive简介
6．1．2Hive系统架构
6．1．3Hive工作原理
6．1．4Hive数据存储模型
6．1．5Hive数据类型
6．1．6Hive数据存储格式
6．2Hive安装与配置
6．2．1安装MySQL
6．2．2Hive安装与配置过程
6．3Beeline
6．3．1Beeline简介
6．3．2Beeline基本操作
6．4HiveDDL操作
6．4．1Hive数据库管理
6．4．2Hive表管理
6．4．3视图管理
6．5HiveDML操作
6．6Hive数据查询
6．6．1HiveSELECT基本语法
6．6．2无条件查询
6．6．3有条件查询
6．6．4查询统计
6．6．5分组查询
6．6．6子查询
6．6．7连接查询
6．6．8排序
6．6．9合并操作
6．6．10复合类型数据查询
6．7Hive内置函数
6．7．1数学函数
6．7．2集合函数
6．7．3类型转换函数
6．7．4日期函数
6．7．5条件函数
6．7．6字符串函数
6．7．7内置聚合函数
6．7．8内置表生成函数
6．7．9窗口函数
6．7．10其他函数
6．7．11词频统计实例
6．8Hive高级应用
6．8．1用户自定义函数
6．8．2Hive与HBase整合
6．9Hive程序设计
本章小结
思考题与习题
第7章数据迁移工具Sqoop
7．1Sqoop概述
7．2Sqoop安装与配置
7．3Sqoop常用命令
7．4Sqoop数据导入
7．4．1Sqoop命令参数
7．4．2数据从MySQL导入HDFS
7．4．3数据从MySQL导入Hive
7．4．4数据从MySQL导入HBase
7．5Sqoop数据导出
7．5．1Sqoopexport命令参数
7．5．2从HDFS导出数据到MySQL
7．5．3从Hive导出数据到MySQL
7．5．4中文乱码问题
本章小结
思考题与习题
第8章数据采集工具Flume
8．1Flume概述
8．1．1Flume简介
8．1．2Flume架构
8．2Flume安装与配置
8．3Flume组件
8．3．1Source组件
8．3．2Channel组件
8．3．3Sink组件
8．3．4Interceptor组件
8．3．5Selector组件
8．3．6SinkProcessor
8．4Flume数据采集案例与实施
8．4．1实时采集本地文件到HDFS
8．4．2多源与多目的地数据采集
本章小结
思考题与习题
第9章网站日志分析
9．1需求分析
9．1．1网站日志分析的必要性
9．1．2网站日志数据说明
9．1．3网站日志分析KPI指标
9．2方案设计
9．3数据采集
9．4数据预处理
9．5数据分析
9．6数据分析结果导出及可视化
本章小结
思考题与习题
第10章Hadoop与HBase分布式集群安装与配置
10．1Hadoop分布式集群安装与配置
10．2HBase分布式集群安装与配置
本章小结
思考题与习题
参考文献