数据采集与预处理

本书详细阐述了大数据 领域数据采集与预处理的相 关理论和技术。全书共8章 ，内容包括概述、大数据实 验环境搭建、网络数据采集 、分布式消息系统Kafka、 日志采集系统Flume、数据 仓库中的数据集成、ETL工 具Kettle、使用pandas进行 数据清洗。本书在第3章至 第8章中安排了丰富的实践 操作，以便读者更好地学习 和掌握数据采集与预处理的 关键技术。本书可以作为高 等院校大数据专业的大数据 课程教材，也可供相关技术 人员参考。

林子雨（1978－），男，博士，厦门大学计算机科学系助理教授，厦门大学云计算与大数据研究中心创始成员，厦门大学数据库实验室负责人，中国计算机学会数据库专委会委员，中国计算机学会信息系统专委会委员。于2001年获得福州大学水利水电专业学士学位，2005年获得厦门大学计算机专业硕士学位，2009年获得北京大学计算机专业博士学位。中国高校首个“数字教师”提出者和建设者（http://www.cs.xmu.edu.cn/linziyu），2009年至今，“数字教师”大平台累计向网络免费发布超过100万字高价值的教学和科研资料，累计网络访问量超过100万次。 主要研究方向为数据库、数据仓库、数据挖掘、大数据和云计算，发表期刊和会议学术论文多篇，并作为课题组负责人承担了国家自然科学基金和福建省自然科学基金项目。曾作为志愿者翻译了Google Spanner、BigTable和《Architecture of a Database System》等大量英文学术资料，与广大网友分享，深受欢迎。2013年在厦门大学开设大数据课程，并因在教学领域的突出贡献和学生的认可，成为2013年度厦门大学教学类奖教金获得者。

第1章 概述 1.1 数据 1.1.1 数据的概念 1.1.2 数据类型 1.1.3 数据的组织形式 1.1.4 数据的价值 1.1.5 数据爆炸 1.2 数据分析过程 1.3 数据采集与预处理的任务 1.4 数据采集 1.4.1 数据采集的概念 1.4.2 数据采集的三大要点 1.4.3 数据采集的数据源 1.4.4 数据采集方法 1.5 数据清洗 1.5.1 数据清洗的应用领域 1.5.2 数据清洗的实现方式 1.5.3 数据清洗的内容 1.5.4 数据清洗的注意事项 1.5.5 数据清洗的基本.流.程 1.5.6 数据清洗的评价标 1.6 数据集成 1.7 数据转换 1.7.1 数据转换策略 1.7.2 平滑处理 1.7.3 规范化处理 1.8 数据脱敏 1.8.1 数据脱敏原则 1.8.2 数据脱敏方法 1.9 本章小结 1.10 习题 第2章 大数据实验环境搭建 2.1 Python的安装和使用 2.1.1 Python简介 2.1.2 Python的安装 2.1.3 Python的基本使用方法 2.1.4 Python基础语法知识 2.1.5 Python第三方模块的安装 2.2 JDK的安装 2.3 MySQL数据库的安装和使用 2.3.1 关系数据库 2.3.2 关系数据库标准语言SQL 2.3.3 安装MySQL 2.3.4 MySQL数据库的使用方法 2.3.5 使用Ppython操作MySQL数据库 2.4 Hadoop的安装和使用 2.4.1 Hadoop简介 2.4.2 分布式系统HDFS 2.4.3 Hadoop安装 2.4.4 Hadoop的基本使用方法