大数据分析及应用

本书为全国电力行业“十四五”规划教材。全书共分 3 部分 12 章 , 主要内容包括大数据基础（大数据简介、大数据来源、大数据特征、大数据研究策略、大数据技术、大数据应用）、大数据管理及分析（大数据准备、大数据管理、大数据分析）、大数据应用及实践（大数据挑战、大数据开发平台、大数据实践）。本书以培养大数据管理、分析和应用能力为主线 , 将理论与案例、理论与实践、理论与应用充分结合 , 以电力系统为应用背景精心设计了案例 , 为广大读者 , 特别是具有电力背景的读者提供解决大数据相关问题的思路。本书配套丰富的资源供读者线上学习。

王辉，华北电力大学

前言

第 1 部分 大 数 据 基 础

学习目标 1

第 1 章？ 大数据简介 2

1.1 大数据发展历程 2
1.2 大数据时代 5
1.3 大数据定义 6

第 2 章？ 大数据来源 7

2.1 大数据的类别 7
2.2 机器生成的大数据 8
2.3 人类生成的大数据 11
2.4 组织生成的大数据 14
2.5 数据集成 18

第 3 章？ 大数据特征 20

3.1 大数据特征综述 20
3.2 大数据的特征—大量性（Volume） 21
3.3 大数据的特征—多样性（Variety） 22
3.4 大数据的特征—高速性（Velocity） 23
3.5 大数据的特征—准确性（Veracity） 25
3.6 大数据的特征—关联性（Valence） 27
3.7 大数据的特征—价值性（Value） 28

目？ 录
第 4 章？ 大数据研究策略 30

4.1 数据科学 30
4.2 建立大数据研究策略 32
4.3 大数据研究策略框架和工作流程 34

第 5 章？ 大数据技术 39

5.1 大数据技术架构 39
5.2 大数据的两大关键技术 40
5.3 大数据平台 Hadoop 43

第 6 章？ 大数据应用 45

6.1 大数据的价值何在 45
6.2 大数据应用领域 47

测试题及答案 53

第 2 部分　大数据管理及分析

学习目标 57

第 7 章？ 大数据准备 58

7.1 大数据的结构 58
7.2 大数据的标识 62
7.3 大数据的关联 69
7.4 大数据的注释 75

第 8 章？ 大数据管理 83

8.1 数据集成和软件互操作性 83
8.2 不变性和永恒性 87

第 9 章？ 大数据分析 92

9.1 数据验证 92
9.2 大数据初步分析 95
9.3 大数据分析方法 1139.4 大数据分析中的特殊注意事项 127
9.5 大数据分析步骤 132
9.6 大数据分析的失败 138

测试题及答案 145

第 3 部分　大数据应用及实践

学习目标 147

第 10 章？ 大数据挑战 148

10.1 法律问题 148
10.2 社会问题 158
10.3 大数据的未来 164

第 11 章？ 大数据开发平台 169

11.1 可扩展计算的基本概念 169
11.2 Hadoop 生态系统 172

第 12 章？ 大数据实践 185

12.1 下载和安装 Cloudera 虚拟机映像 185
12.2 HDFS 实践：将数据复制到 Hadoop 分布式文件系统中 187
12.3 MapReduce 实践：运行 WordCount 程序 189

测试题及答案 192

参考文献 194