数据采集与预处理技术应用

聚焦大数据关键技术要点，详解数据采集与数据预处理理论与技术介绍主流数据采集工具(Flume、Kafka、日志易、Scribe、Scrapy框架等)，及主流数据预处理工具(Python、Kettle、Pig、OpenRefine)的应用随书提供全套教学课件、教学大纲、授课计划、数据集、源代码等教学资源

本书重点介绍了数据采集和数据预处理的相关理论与技术。全书共9章，主要包括数据采集与预处理概述，大数据开发环境的搭建，使用Flume采集系统日志数据，使用Kafka采集系统日志数据，其他常用的系统日志数据采集工具，使用网络爬虫采集Web数据，Python数据预处理库的使用，使用ETL工具Kettle进行数据预处理，以及其他常用的数据预处理工具。本书在第2章至第9章安排了丰富的实践操作，实现了理论与实践的有机结合，帮助读者更好地学习和掌握数据采集与预处理的关键技术。本书可以作为高等院校大数据专业的大数据课程教材，也可以作为计算机相关专业的专业课或选修课教材，同时也可以作为从事大数据相关专业的工作人员的参考用书。

出版说明
前言
第1章 数据采集与预处理概述1
1.1 大数据简介1
1.1.1 数据的概念、类型、组织形式1
1.1.2 大数据的概念、特点与作用3
1.1.3 大数据的技术应用4
1.2 数据分析简介5
1.2.1 数据分析的基本流程5
1.2.2 数据分析的方法与技术6
1.3 数据采集简介8
1.3.1 数据采集的三大方式及工具8
1.3.2 数据采集的应用场景11
1.4 数据预处理简介12
1.4.1 数据预处理的目的与意义13
1.4.2 数据预处理的流程13
1.4.3 数据预处理的工具介绍15
习题17
第2章 大数据开发环境的搭建18
2.1 安装Python与JDK18
2.1.1 Java和Python概述18
2.1.2 Python的安装与配置19
2.1.3 JDK的安装与配置20
2.1.4 Python与Java的IDE介绍21
2.2 MySQL数据库的安装与配置22
2.2.1 SQL概述22
2.2.2 安装MySQL数据库23
2.2.3 MySQL数据库的基本使用24
2.3 Hadoop的安装与配置26
2.3.1 单节点环境26
2.3.2 伪分布式环境27
2.3.3 节点间免密通信28
2.3.4 Hadoop的启动和测试29
2.4 在Hadoop集群上运行WordCount31
2.4.1 运行Java版本WordCount实例31
2.4.2 运行Python版本WordCount
实例33
习题36
第3章 使用Flume采集系统日志数据37
3.1 Flume概述37
3.2 Flume的安装运行38
3.3 Flume的核心组件38
3.3.1 Agent39
3.3.2 Source40
3.3.3 Sink40
3.3.4 Channel40
3.3.5 Event41
3.4 Flume与选择器41
3.4.1 Flume内置41
3.4.2 自定义46
3.5 Flume负载均衡与故障转移49
3.6 实践案例：使用Flume采集数据上传到HDFS52
习题54
第4章 使用Kafka采集系统日志数据55
4.1 Kafka概述55
4.1.1 消息队列55
4.1.2 Kafka的特点56
4.1.3 Kafka与Flume的区别57
4.2 Kafka的安装部署57
4.2.1 集群规划57
4.2.2 安装Zookeeper57
4.2.3 安装Kafka59
4.3 Kafka的基本架构60
4.3.1 Kafka的消息系统60
4.3.2 Producer与Consumer60
4.3.3 主题与分区61
4.3.4 Broker与Kafka集群61
4.3.5 Zookeeper在Kafka中的作用62
4.4 实践案例：使用Kafka采集本地日志数据63
4.5 实践案例：Kafka与Flume结合采集日志数据65
习题67
第5章 其他常用的系统日志数据采集工具68
5.1 Scribe68
5.1.1 Scribe简介68
5.1.2 Scribe的配置文件68
5.1.3 实践案例：使用Scribe采集系统日志数据70
5.2 Chukwa71
5.2.1 Chukwa简介71
5.2.2 Chukwa架构与数据采集72
5.2.3 实践案例：使用Chukwa采集系统日志数据74
5.3 Splunk75
5.3.1 Splunk概述75
5.3.2 Splunk的安装与基本使用75
5.3.3 实践案例：使用Splunk采集系统日志数据77
5.4 日志易80
5.4.1 日志易的特点80
5.4.2 注册日志易账号81
5.4.3 实践案例：使用日志易采集搜索本地日志文件82
5.5 Logstash90
5.5.1 Logstash简介90
5.5.2 Logstash的工作原理90
5.5.3 Logstash安装与部署90
5.5.4 实践案例：使用Logstash采集并处理系统日志数据91
5.5.5 实践案例：使用Logstash将数据导入Elasticsearch93
5.6 Fluentd94
5.6.1 Fluentd简介95
5.6.2 Fluentd的安装与配置95
5.6.3 Fluentd的基本命令96
5.6.4 实践案例：使用Fluentd采集系统日志数据97
习题99
第6章 使用网络爬虫采集Web数据100
6.1 网络爬虫概述100
6.1.1 网络爬虫的基本原理100
6.1.2 网络爬虫的类型100
6.2 网络爬虫基础101
6.2.1 网络爬虫的基本爬取方式101
6.2.2 使用正则表达式进行字符串匹配103
6.2.3 使用解析库解析网页104
6.2.4 Ajax数据的爬取106
6.2.5 使用selenium抓取动态渲染页面106
6.3 常见的网络爬虫框架107
6.3.1 Scrapy框架107
6.3.2 WebMagic框架110
6.3.3 Crawler4j框架111
6.3.4 WebCollector框架113
6.4 实践案例：使用Scrapy爬取电商网站数据114
习题118
第7章 Python数据预处理库的使用119
7.1 Python与数据分析119
7.1.1 Python的特点119
7.1.2 为何使用Python进行数据分析120
7.2 NumPy：数组与向量计算120
7.3 Pandas：数据结构化操作123
7.4 SciPy：科学化计算127
7.5 Matplotlib：数据可视化130
7.6 实践案例：使用Python预处理旅游路线数据137
习题143
第8章 使用ETL工具Kettle进行数据预处理144
8.1 Kettle概述144
8.2 Kettle的安装与配置144
8.3 Kettle的基本使用145
8.3.1 Kettle的使用界面145
8.3.2 新建转换与任务146
8.3.3 数据获取149
8.3.4 数据清洗与转换156
8.3.5 数据迁移和装载160
8.4 实践案例：使用Kettle处理某电商网站数据163
习题167
第9章 其他常用的数据预处理工具168
9.1 Pig168
9.1.1 Pig概述168
9.1.2 Pig的安装和配置169
9.1.3 Pig Latin的基本概念170
9.1.4 使用Pig进行数据预处理176
9.2 OpenRefine182
9.2.1 OpenRefine概述183
9.2.2 OpenRefine创建项目183
9.2.3 OpenRefine的基本使用186
9.3 实践案例：使用Pig和OpenRefine预处理二手房数据188
习题195
参考文献196