大数据导论

本书是中国科协新一代信息技术系列丛书之一。本书重点阐述大数据的基本原理、技术、平台和不同领域的应用案例。全书共分13章，章为绪论；第2~7章为技术章节，介绍了数据采集与治理、数据管理、数据分析、数据可视化、数据安全与隐私保护和大数据处理平台；第8~11章为大数据在不同领域的应用案例，包括社会网络大数据、城市大数据、工业大数据和教育大数据；2、13章为数据管理章节，包括数据开放与共享和大数据的法律政策规范。本书主要面向大学非计算机类的工科专业的高年级学生与研究生，亦可作为大数据爱好者的科普读物。

 

前言
基础篇
第1章绪论3
1.1概述3
1.1.1数据4
1.1.2数据中蕴含的价值6
1.1.3获取数据中蕴含的价值8
1.2大数据的内涵和外延9
1.2.1大数据时代的驱动力9
1.2.2大数据的概念和特征10
1.2.3大数据带来的思维模式改变12
1.2.4大数据的作用和意义13
1.3大数据的技术挑战和科学意义15
1.3.1数据处理的一般过程16
1.3.2大数据计算面临的挑战17
1.3.3大数据计算的特点18
1.3.4大数据计算平台19
1.3.5大数据与云计算、人工智能的关系20
1.4数据科学22
1.4.1数据科学的提出23
1.4.2数据科学的范畴23
1.4.3数据科学对学科发展的影响24
习题25
参考文献及扩展阅读资料26
技术篇
第2章数据采集与治理29
2.1概述30
2.2大数据的来源与多源数据的采集方式30
2.2.1大数据的来源30
2.2.2多源数据的采集31
2.2.3数据离散化33
2.3数据集成和跨界应用的数据集成方法34
2.3.1数据集成的定义与形式34
2.3.2传统数据集成35
2.3.3跨界数据集成38
2.4数据的预处理40
2.4.1数据变换40
2.4.2数据质量的检验与提升41
习题44
参考文献及扩展阅读资料44
第3章数据管理46
3.1概述46
3.2关系数据库47
3.2.1关系数据模型48
3.2.2结构化查询语言51
3.2.3数据库事务52
3.2.4关系数据库管理系统53
3.3分布式文件系统54
3.3.1Hadoop55
3.3.2Ceph57
3.3.3GlusterFS59
3.3.4分布式文件系统对比60
3.4新型数据管理与查询系统61
3.4.1NoSQL数据库61
3.4.2SQLonHadoop系统65
习题68
参考文献及扩展阅读资料68
第4章数据分析69
4.1概述69
4.2统计数据分析71
4.2.1数据描述性分析71
4.2.2回归分析74
4.3基于机器学习的数据分析76
4.3.1非监督学习方法77
4.3.2监督学习方法77
4.4图的数据分析84
4.4.1图的基本概念85
4.4.2中心性和相似性分析86
4.4.3社交网络上的算法89
4.5自然语言中的数据分析92
4.5.1词表示分析92
4.5.2语言模型94
4.5.3话题模型95
习题96
参考文献及扩展阅读资料96
第5章数据可视化98
5.1概述98
5.2数据可视化主要技术101
5.2.1高维数据可视化102
5.2.2网络数据可视化106
5.2.3层次结构数据可视化109
……