Hadoop大数据开发

本书通过原理加案例的方式系统地讲解了Hadoop大数据开发，让读者能够全面地了解大数据开发流程。书中精心安排了原理分析、环境搭建、案例开发等多个过程，使读者对解决大数据问题有清晰的思路。全书共7章：前6章系统讲解大数据Hadoop架构，包括大数据处理平台Hadoop、分布式文件系统HDFS、并行计算模型MapReduce、资源调度框架Yarn；第7章是MapReduce应用实例，通过案例帮助读者进一步理解Hadoop平台。全书突出3个特点：道理简单明了、思路清晰透彻、案例新颖实用。本书不仅可作为普通高校大数据相关专业学生的大数据教材，也可以作为想深入了解Hadoop架构编程的人员的参考书，还可作为各类相关培训班的培训教材。

刘春阳，中关村软件园百知教育总经理，主要从事计算机相关专业培训，负责开发国家高培中心的公务员网上培训系统，以及曾参与完成颐信科技公司CA电子安全系统和亚信科技公司防黑客系统软件开发。

前言
第1章 大数据概论
1.1 大数据概述
1.1.1 大数据产生的时代背景
1.1.2 大数据的特征
1.1.3 大数据应用案例
1.1.4 大数据的机遇与挑战
1.2 大数据处理技术
1.3 大数据与云计算
1.4 本章小结
第2章 大数据处理平台Hadoop
2.1 Hadoop生态系统
2.2 Hadoop架构
2.2.1 HDFS
2.2.2 MapReduce
2.2.3 Yam
2.3 Hadoop版本变迁
2.3.1 Hadoop发展史
2.3.2 如何选择Hadoop开发版本
2.4 本章小结
第3章 Hadoop平台搭建
3.1 基础环境配置
3.2 Hadoop配置文件修改
3.3 Hadoop平台运行及验证
3.4 本章小结
第4章 分布式文件系统HDFS
4.1 HDFS架构
4.1.1 HDFS的基本框架
4.1.2 HDFS的特点
4.2 HDFS的工作机制
4.2.1 HDFS读写过程分析
4.2.2 NameNode的工作机制
4.2.3 元数据的CheckPoint
4.2.4 DataNode的工作机制
4.3 HDFS shell命令
4.3.1 帮助相关命令
4.3.2 查看相关命令
4.3.3 文件及目录相关命令
4.3.4 统计相关命令
4.3.5 快照命令
4.4 本章小结
第5章 HDFS Java API编程
5.1 远程开发环境搭建
5.2 HDFS.Java APl接口
5.3 IJDFS Java APl编程
5.3.1 获取文件系统
5.3.2 列出所有DataNode的名字信息
5.3.3 创建文件目录
5.3.4 删除文件或文件目录
5.3.5 查看文件是否存在
5.3.6 文件上传至HDFS
5.3.7 从HDFS下载文件
5.3.8 文件重命名
5.3.9 遍历目录和文件
5.3.10 根据filter获取目录下的文件
5.3.11 取得数据块所在的位置
5.4 程序打包
5.5 本章小结
第6章 并行计算MapReduce
6.1 MapReduce编程模型
6.1.1 并行编程模型概述
6.1.2 并行计算编程模型
6.1.3 MapReduce编程模型
6.2 MapReduce工作原理
6.3 Yarn
6.3.1 Yam基本框架与组件
6.3.2 Yam工作流程
6.3.3 新旧Hadoop MapReduce框架对比
6.4 MapReduce Shuffle性能调优
6.5 本章小结
第7章 MapReduce JavaAPI编程
7.1 MapReduce JavaAPI接口讲解
7.1.1 InputFormat接口
7.1.2 Mapper类
7.1.3 Partitioner类
7.1.4 Combiner类
7.1.5 Reducer类
7.1.6 OutputFormat接口
7.1.7 GenericOptionsParser类
7.1.8 DistributedCache类
7.2 MapReduce Java API应用实例
7.2.1 统计单词出现频率
7.2.2 统计出现的单词
7.2.3 统计平均成绩
7.2.4 排序
7.2.5 求年优选温度
7.2.6 关系运算――投影运算
7.2.7 关系运算――并运算
7.2.8 关系运算――交运算
7.2.9 关系运算――差运算
7.2.10 关系运算――连接运算
7.3 MapReduce Java API高级编程
7.3.1 多输入路径方式
7.3.2 使用Partitioner实现输出到多个文件
7.3.3 自定义OutputFormat文件输出
7.3.4 文本文件转化成XML文件
7.3.5 通过MultipleOutputs完成多文件输出
7.3.6 将MapReduce产生的结果集导入到MySQL中
7.3.7 自定义比较器
7.3.8 MapReduce分析明星微博数据
7.3.9 MapReduce很好成绩统计
7.3.10 MapReduce链接作业
7.3.11 利用Job嵌套求解二度人脉
7.4 本章小结
附录 CentOS7安装