数据清洗与ETL技术/大数据系列丛书

本书为大数据时代下的 产物，由浅入深地介绍大数 据及其相关知识，在大数据 的背景下着重介绍ETL数据 处理技术，同时引入数据清 洗的知识，理论与实际相结 合，突出所长。在理论上， 本书突出重点与难点，较为 系统地介绍大数据的各项基 本技术。在实践操作上，本 书贴近生活，切实理解，紧 跟实验进行，并从中萃取精 华。同时本书还介绍ETL技 术的主流工具，结合当下一 些项目进行运用，并综合课 后思考题，使读者在学习中 体会大数据的乐趣，翱游在 大数据的海洋中。 本书可作为高校新兴专 业——数据科学专业的配套 教材，也可作为其他专业的 选修课教材，还可作为初学 者的学习教程。

冯广，男，硕士生导师，现任广东工业大学网络信息与现代教育技术中心副主任,博士,网络规划师,硕士研究生导师。长期从事计算机网络技术、网络控制技术和控制科学与控制工程领域的教学与科研工作。主要研究方向有网络与信息化控制、最优化控制、RFID技术、计算机网络等。

第1章 从大数据到ETL 1.1 大数据概述 1.1.1 大数据的定义 1.1.2 大数据的基本性质 1.1.3 大数据的影响 1.1.4 大数据带来的挑战 1.2 科学处理数据 1.3 ETL简介 1.3.1 ETL的基本定义 1.3.2 ETL的基本过程 1.3.3 ETL的架构体系 1.3.4 ETL的必要性 1.3.5 ETL的分类 1.3.6 基本ETL过程与数据清理的区别 1.3.7 ETL现状与发展 1.4 数据抽取 1.4.1 数据抽取的概念 1.4.2 分类抽取 1.4.3 数据抽取的原则和方法 1.5 数据转换 1.5.1 数据转换的概念 1.5.2 类型转换 1.6 数据加载 1.6.1 数据加载的概念 1.6.2 数据加载方式 1.7 实验任务——处理论文的年份 1.8 小结 1.9 习题 第2章 数据抽取 2.1 数据源 2.1.1 关系数据库 2.1.2 非关系数据库 2.1.3 通用程序库 2.2 数据抽取方式 2.2.1 全量抽取 2.2.2 增量抽取 2.2.3 增量抽取的比较分析 2.3 Hadoop的数据抽取 2.3.1 Hadoop简介 2.3.2 Hadoop研究现状 2.3.3 环境搭建 2.3.4 数据采集 2.4 Web文件的数据抽取 2.4.1 Web文件简介 2.4.2 主要工作 2.4.3 主要工具——Connotate 2.4.4 应用分析——基于页面标签的Web结构化数据抽取 2.5 数据库的数据抽取 2.5.1 数据库简介 2.5.2 主要应用——基于ETL工具软件的数据抽取