Hadoop+Spark大数据分析实战/大数据技术丛书

本书是Hadoop+Spark大 数据分析技术入门书，基于 Hadoop和Spark两大框架体 系的3．2版本，以通俗易懂 的方式介绍Hadoop+Spark 原生态组件的原理、集群搭 建、实战操作，以及整个 Hadoop生态系统主流的大 数据分析技术。 本书共分14章。第1章讲 解Hadoop框架及新版本特 性，并详细讲解大数据分析 环境的搭建工作，包括 Linux操作系统的安装、 SSH工具使用和配置等；第 2章讲解Hadoop伪分布式的 安装和开发体验，使读者熟 悉Hadoop大数据开发两大 核心组件，即HDFS和 MapReduee；第3～12章讲 解。Hadoop生态系统各框 架HIDFS、MapReduce、输 入输出、Hadoop集群配置 、高可用集群、HBase、 Hive、数据实时处理系统 Flume，以及Spark框架数 据处理、机器学习等实战技 术，并通过实际案例加深对 各个框架的理解与应用；第 13～14章分别通过影评分 析、旅游酒店评价分析实战 项目来贯穿大数据分析的完 整流程。 本书可以作为大数据分 析初学者的入门指导书，也 可以作为大数据开发人员的 参考手册，同时也适合作为 高等院校大数据相关专业的 教材或教学参考书。

\"迟殿委，计算机软件与理论专业硕士，系统架构设计师。有多年企业软件研发经验和丰富的JavaEE培训经验，熟练掌握JavaEE全栈技术框架，对Java核心编程技术有深刻理解。主要擅长JavaEE系统架构设计、大数据分析与挖掘。著有图书《Hadoop+Spark大数据分析实战》《Spring Boot企业级开发实战（视频教学版）》《Spring Boot+Spring Cloud微服务开发》《深入浅出Java编程》。 \"

第1章 大数据与Hadoop 1.1 什么是大数据 1.2 大数据的来源 1.3 如何处理大数据 1.3.1 数据分析与挖掘 1.3.2 基于云平台的分布式处理 1.4 Hadoop 3新特性 1.5 虚拟机与Linux操作系统的安装 1.5.1 VirtualBox虚拟机的安装 1.5.2 Linux操作系统的安装 1.6 SSH工具与使用 1.7 Linux统一设置 1.8 本章小结 第2章 Hadoop伪分布式集群 2.1 安装独立运行的Hadoop 2.2 Hadoop伪分布式环境准备 2.3 Hadoop伪分布式安装 2.4 HDFS操作命令 2.5 Java项目访问HDFS 2.6 winutils 2.7 快速MapReduce程序示例 2.8 本章小结 第3章 HDFS分布式文件系统 3.1 HDFS的体系结构 3.2 NameNode的工作 3.3 SecondaryNameNode 3.4 DataNode 3.5 HDFS的命令 3.6 RPC远程过程调用 3.7 本章小结 第4章 分布式运算框架MapReduce 4.1 MapReduce的运算过程 4.2 WordCount示例 4.3 自定义Writable 4.4 Partitioner分区编程 4.5 自定义排序 4.6 Combiner编程 4.7 默认Mapper和默认Reducer 4.8 倒排索引 4.9 Shuffle 4.9.1 Spill过程 4.9.2 Sort过程 4.9.3 Merge过程 4.10 本章小结 第5章 Hadoop输入输出 5.1 自定义文件输入流 5.1.1 自定义LineTextInputFormat 5.1.2 自定义ExcelInputFormat类 5.1.3 DBInputFormat 5.1.4 自定义输出流