基于Hadoop与Spark的大数据开发实战(新技术技能人才培养系列教程)/大数据开发实战系列

大数据技术让我们以一种前所未有的方式，对海 量数据进行分析，从中获得有巨大价值的产品和服务 ，最终形成变革之力。肖睿、丁科、吴刚山主编的《 基于Hadoop与Spark的大数据开发实战(新技术技能人 才培养系列教程)/大数据开发实战系列》围绕Hadoop 和Spark两个主流大数据技术进行讲解，主要内容包 括Hadoop环境配置、Hadoop分布式文件系统（HDFS） 、Hadoop分布式计算框架MapReduce、Hadoop资源调 度框架YARN与Hadoop新特性、Hadoop分布式数据库 HBase、数据仓库Hive、大数据离线处理辅助系统、 Spark Core、Spark SQL、Spark Streaming等知识 。 本书紧密结合实际应用，运用大量案例说明和实 践，提炼含金量十足的开发经验。另外，本书配以多 元的学习资源和支持服务，包括视频教程、案例素材 下载、学习交流社区、讨论组等学习内容，为读者带 来全方位的学习体验。 本书适合作为计算机、大数据相关专业的教材使 用，也适合具有一定Linux、Java开发经验，并且想 从事大数据开发的人员使用，也可作为大数据分析与 运维人员的参考用书。

序言 前言 关于引用作品的版权声明 第1章 Hadoop初体验 任务1 初识大数据 1.1.1 大数据基本概念 1.1.2 大数据带来的挑战 任务2 初识Hadoop 1.2.1 Hadoop概述 1.2.2 Hadoop生态圈 1.2.3 Hadoop应用案例 任务3 安装Hadoop平台 1.3.1 安装虚拟机 1.3.2 安装Linux系统 1.3.3 安装Hadoop伪分布式环境 本章总结 本章练习 第2章 Hadoop分布式文件系统 任务1 HDFS入门 2.1.1 认识HDFS 2.1.2 HDFS基础 2.1.3 HDFS架构 任务2 HDFS基本操作 2.2.1 使用HDFS shell访问 2.2.2 使用Java API访问 任务3 HDFS运行原理 2.3.1 HDFS读写流程 2.3.2 HDFS副本机制 2.3.3 HDFS负载均衡 2.3.4 HDFS机架感知 任务4 HDFS高级知识 2.4.1 Hadoop序列化机制 2.4.2 SequenceFile 2.4.3 MapFile 本章总结 本章练习 第3章 Hadoop分布式计算框架 任务1 认识MapReduce编程模型 3.1.1 MapReduce基础 3.1.2 MapReduce编程模型 3.1.3 MapReduce词频统计编程实例 任务2 MapReduce应用开发 3.2.1 MapReduce输入/输出类型 3.2.2 MapReduce输入格式 3.2.3 MapReduce输出格式 3.2.4 Combiner操作 3.2.5 Partitioner操作 3.2.6 自定义RecordReader 任务3 MapReduce高级应用 3.3.1 使用MapReduce实现join操作