大数据处理与应用(微课版大数据专业教材)

本书以项目驱动的方式 详细讲解大数据生态体系架 构各方面的知识。主要涉及 ETL的数据采集与清洗、离 线数据仓库的构建和实时数 据仓库的构建。 本书分为三个模块：模 块一介绍大数据离线数据处 理与分析，包含项目一和项 目二，知识点覆盖HDFS、 Hive、Sqoop、MapReduce 、Spark Core和Flink DataSet；模块二介绍大数 据实时数据处理与分析，包 含项目三和项目四，知识点 覆盖Kafka、Flume、Spark Streaming和Spark SQL； 模块三介绍大数据处理与分 析的扩展知识，包含项目五 和项目六，项目五为基于大 数据分析处理实现的推荐系 统，项目六为大数据ETL数 据采集的CDC技术。 本书可作为高等院校大 数据与相关专业学生的教材 ，也可作为具有一定的Java 编程基础的读者阅读，如平 台架构师、开发人员和运维 管理人员。

贾新志，北京信息职业技术学院人工智能学院教师，主要从事软件技术、前端开发方面的研究与教学工作。重点讲授《前端设计与开发》、《linux操作系统》等课程。

项目准备 搭建实验环境 任务一 安装Linux操作系统 任务二 配置Linux环境 任务三 部署Hadoop环境 任务四 部署Spark环境 任务五 部署Flink环境 任务六 安装MySQL数据库 任务七 安装Hive 任务八 安装ZooKeeper和Kafk 任务九 部署Storm环境 项目一 企业人力资源员工数据的离线分析 任务一 企业人力资源及员工数据的获取 [职业能力目标] [任务描述与要求] [知识储备] 一、关系型数据库MySQL 二、大数据ETL采集引擎Sqoop 三、HDFS分布式文件系统 [任务计划与决策] 一、企业人力资源原始数据观察 二、企业人力资源原始数据采集 [任务实施] 一、将企业人力资源员工的原始数据导入MySQL数据库 二、安装并使用Sqoop完成数据的采集 [任务检查与评价] [任务小结] [任务拓展] 任务二 清洗企业人力资源员工数据 [职业能力目标] [任务描述与要求] [知识储备] 一、大数据离线计算引擎MapReduce 二、大数据离线计算引擎Spark Core 三、大数据离线计算引擎Flink DataSet [任务计划与决策] [任务实施] [任务检查与评价] [任务小结] [任务拓展] 任务三 企业人力资源员工数据的分析与处理 [职业能力目标] [任务描述与要求] [知识储备] 一、大数据分析引擎Hive 二、Hive的数据模型 [任务计划与决策] [任务实施] [任务检查与评价] [任务小结] [任务拓展] 项目二 电商平台商品销售数据的离线分析 项目三 网站用户访问实时Hot IP分析 项目四 实时分析用户信息访问数据 项目五 基于大数据平台的推荐系统 项目六 基于CDC（获取数据变更）的实时数据采集 参考文献