大数据导论

（1）全书内容全面，章节由简入深，易于学习。 （2）紧跟时代潮流，注重技术变化，书中包含了近期新的大数据知识及一些开源工具的介绍。 （3）编写本书的教师都具有多年的教学经验，重难点突出，能够激发学生的学习热情。

本书全面、系统地介绍了大数据的基本原理与概念，并对一些大数据的应用实例进行讲解，共9章，分别讲解大数据的基本知识、大数据与新一代信息技术、数据采集、大数据存储、数据清洗、大数据分析与挖掘、数据可视化、大数据安全与治理以及大数据的应用。本书可作为高等院校大数据专业、人工智能专业、软件技术专业、云计算专业、计算机网络专业的专业基础课教材，也可作为大数据爱好者的参考书。

黄源，工学硕士，重庆航天职业技术学院大数据专业带头人，教授，研究方向为大数据分析与可视化。近年来负责多项市级教改科研课题，主编出版计算机类教材十余本。

第１章 大数据的基本知识 1
1.1 大数据概述 1
1.1.1 大数据的特征 1
1.1.2 大数据的意义 3
1.2 大数据的数据类型 6
1.2.1 结构化数据 6
1.2.2 非结构化数据 6
1.2.3 结构化数据和非结构化数据的区别 7
1.3 大数据政策 7
1.3.1 国外的大数据政策 7
1.3.2 国内的大数据政策 9
1.4 小结 10
1.5 习题 10
第２章 大数据与新一代信息技术 11
2.1 大数据与云计算 11
2.1.1 云计算概述 11
2.1.2 大数据与云计算的区别与联系 17
2.2 大数据与物联网 18
2.2.1 物联网概述 18
2.2.2 大数据与物联网的区别与联系 21
2.3 大数据与人工智能 21
2.3.1 人工智能概述 21
2.3.2 大数据与人工智能的区别与联系 25
2.4 大数据与区块链 26
2.4.1 区块链概述 26
2.4.2 大数据与区块链的区别与联系 27
2.5 小结 28
2.6 习题 29
第3章 数据采集 30
3.1 数据采集概述 30
3.1.1 认识数据采集 30
3.1.2 数据采集的常见方式 31
3.2 数据采集平台 34
3.2.1 Flume 34
3.2.2 Kafka 35
3.2.3 Logstash 37
3.3 网络爬虫 37
3.3.1 认识网络爬虫 37
3.3.2 网络爬虫的分类及特点 40
3.3.3 网络爬虫的道德规范与法律风险 41
3.4 小结 42
3.5 习题 43
第4章 大数据存储 44
4.1 大数据存储概述 44
4.1.1 大数据存储的概念 44
4.1.2 大数据存储的分类 45
4.2 Hadoop架构 48
4.2.1 认识Hadoop架构 48
4.2.2 Hadoop的起源与发展 49
4.2.3 Hadoop生态组件 51
4.3 NoSQL数据库 63
4.3.1 认识NoSQL数据库 63
4.3.2 NoSQL数据库的分类 63
4.4 数据仓库 69
4.4.1 认识数据仓库 70
4.4.2 数据仓库的特点 73
4.4.3 数据仓库的应用 73
4.5 小结 74
4.6 习题 74
第5章 数据清洗 75
5.1 数据清洗概述 75
5.1.1 认识数据清洗 75
5.1.2 数据清洗的流程 77
5.1.3 数据质量 78
5.2 数据清洗的方法 82
5.2.1 处理缺失值 82
5.2.2 处理异常值 83
5.2.3 处理重复值 85
5.3 数据清洗的常用工具 85
5.3.1 Python 85
5.3.2 R 87
5.3.3 Kettle 88
5.3.4 DataCleaner 89
5.4 小结 91
5.5 习题 91
第6章 大数据分析与挖掘 92
6.1 大数据分析概述 92
6.1.1 大数据分析的概念 92
6.1.2 大数据分析的常用方法 97
6.2 数据挖掘 102
6.2.1 认识数据挖掘 102
6.2.2 数据挖掘的应用 104
6.3 数据挖掘的常见算法 105
6.3.1 K-Means算法 106
6.3.2 KNN算法 107
6.3.3 朴素贝叶斯算法 108
6.3.4 决策树算法 110
6.3.5 支持向量机算法 112
6.4 小结 114
6.5 习题 114
第7章 数据可视化 115
7.1 数据可视化概述 115
7.1.1 认识数据可视化 115
7.1.2 数据可视化的类型 122
7.2 数据可视化的方法 123
7.2.1 文本可视化 123
7.2.2 社交网络可视化 125
7.2.3 地理空间可视化 127
7.3 数据可视化的常见工具 130
7.3.1 ECharts 130
7.3.2 Excel 133
7.3.3 D3 135
7.3.4 Tableau 137
7.4 小结 139
7.5 习题 139
第8章 大数据安全与治理 140
8.1 大数据安全概述 140
8.1.1 认识数据安全 140
8.1.2 大数据面临的安全挑战 143
8.1.3 大数据安全的关键技术 145
8.2 数据治理 151
8.2.1 认识数据治理 151
8.2.2 数据治理的目标 156
8.2.3 数据治理的实现 157
8.3 小结 169
8.4 习题 169
第9章 大数据的应用 170
9.1 农业大数据 170
9.1.1 认识农业大数据 170
9.1.2 农业大数据的关键技术 173
9.1.3 农业大数据的应用 177
9.2 工业大数据 179
9.2.1 认识工业大数据 179
9.2.2 工业大数据的关键技术 181
9.2.3 工业大数据的应用 185
9.3 金融大数据 187
9.3.1 认识金融大数据 187
9.3.2 金融大数据的关键技术 189
9.3.3 金融大数据的应用 193
9.4 交通大数据 194
9.4.1 认识交通大数据 194
9.4.2 交通大数据的关键因素 197
9.4.3 交通大数据的应用 199
9.5 小结 200
9.6 习题 201
参考文献 202