大数据管理概论

本书着重介绍大数据的基本概念、架构以及主流的大数据系统等方面内容，涵盖了大数据融合、存储、分析、隐私、系统等方面的内容，具体包括：大数据的概念、演变过程和处理模式，大数据融合的概念、独特性、任务和方法论，大数据存储与管理方法以及计算与存储融合的技术，大数据分析技术，大数据隐私保护，大数据管理系统等。本书主要面向的读者为对大数据领域有兴趣的学生、研究人员和相关从业人员等。

孟小峰，中国人民大学信息学院教授，博士生导师。现为中国计算机学会会士、中国保密协会隐私保护专业委员会副主任，《Journal of computer Science andTechnology》《Frontiers of Computer Science》《软件学报》《计算机研究与发展》等编委。先后获中国计算机学会“王选奖”一等奖(2009年)，北京市科学技术奖二等奖(2011年)等奖励，入选“第三届北京市高校名师奖”(2005年)。发表论文200余篇，近期结合近十年的研究工作出版了“网络与移动数据管理三部曲”(《Web数据管理：概念与技术》《XML数据管理：概念与技术》《移动数据管理：概念与技术》，清华大学出版社)，获得国家专利授权12项。近期主要研究领域为网络与移动大数据管理，包括Web数据管理、云数据管理、面向新型存储器的数据库系统、大数据隐私管理、社会计算等。

丛书前言
前言
作者简介
第1章概述1
1.1大数据的基本概念1
1.2大数据的演变过程2
1.3大数据应用4
1.4大数据的处理模式6
1.4.1批处理7
1.4.2流处理8
1.5大数据管理的关键技术9
1.5.1大数据融合9
1.5.2大数据分析10
1.5.3大数据隐私11
1.5.4大数据能耗12
1.5.5大数据处理与硬件的协同13
1.6小结15
第2章大数据融合16
2.1引言16
2.2大数据融合的概念17
2.2.1大数据融合需求的独特性18
2.2.2大数据融合对象的独特性20
2.3大数据融合的方法论23
2.3.1数据库视角下的融合23
2.3.2认知计算和人工智能视角下的融合25
2.3.3两种融合方式的对比分析28
2.3.4大数据融合范式30
2.4数据融合技术32
2.4.1模式／本体对齐32
2.4.2实体链接33
2.4.3冲突解决34
2.4.4知识库自适应发展35
2.5知识融合技术36
2.5.1知识抽象与建模36
2.5.2关系推演37
2.5.3深度知识发现38
2.5.4普适机理的剖析和归纳39
2.6大数据融合的驱动枢纽40
2.6.1智能晶格40
2.6.2迁移学习40
2.6.3数据溯源41
2.6.4D&2V处理42
2.7小结43
第3章大数据存储44
3.1引言44
3.2大数据存储与管理方法46
3.2.1基于PCM的主存架构47
3.2.2基于闪存的主存扩展架构47
3.2.3基于多存储介质的分层存储架构48
3.2.4分布式存储与缓存架构49
3.3基于新型存储的大数据管理50
3.3.1存储管理50
3.3.2索引管理51
3.3.3查询处理52
3.3.4事务处理53
3.3.5大数据分析53
3.4大数据处理与存储一体化技术54
3.4.1一体化架构中的大数据存储55
3.4.2一体化架构中的大数据处理56
3.4.3一体化架构面临的挑战57
3.5小结58
第4章大数据分析60
4.1引言60
4.1.1传统的数据分析技术60
4.1.2大数据的分析技术62
4.2大数据的实时分析64
4.2.1实时分析的背景和概念64
4.2.2实时分析技术66
4.3大数据的交互式分析70
4.3.1交互式分析的背景和概念70
4.3.2交互式分析技术71
4.4云在线聚集74
4.4.1云在线聚集技术的背景和概念74
4.4.2云在线聚集的关键技术77
4.5大数据的智能分析81
4.5.1大数据分析中的计算智能81
4.5.2智能分析的主要技术82
4.6小结84
第5章大数据隐私85
5.1引言85
5.1.1大数据的类型86
5.1.2隐私特征与类别87
5.1.3大数据的隐私风险88
5.2隐私保护技术91
5.2.1匿名化技术91
5.2.2数据加密技术92
5.2.3差分隐私技术93
5.2.4隐私信息检索技术94
5.3隐私保护技术的应用94
5.3.1位置大数据中的隐私保护95
5.3.2数据发布和分析中的隐私保护97
5.3.3互联网搜索中的隐私保护101
5.3.4云计算中的隐私保护103
5.4大数据隐私管理107
5.4.1隐私管理的目标107
5.4.2主动式隐私管理框架108
5.5小结110
第6章大数据管理系统111
6.1引言111
6.2云计算：大数据的基础平台与支撑技术112
6.3批数据与流数据管理系统116
6.3.1批数据管理系统118
6.3.2流数据管理系统119
6.3.3混合处理系统120
6.4SQL、NoSQL与NewSQL系统121
6.4.1SQL类数据库123
6.4.2NoSQL类数据库125
6.4.3NewSQL类数据库128
6.5小结129
第7章基于大数据的交叉学科研究131
7.1引言131
7.2在线用户行为演化研究133
7.2.1在线用户行为大数据133
7.2.2在线用户行为演化134
7.3在线用户兴趣长程演化135
7.3.1理论与方法136
7.3.2在线用户兴趣演化分析137
7.4在线用户集体注意力流141
7.4.1注意力流网络142
7.4.2注意力流网络中的异速标度律143
7.4.3注意力流的应用：Web站点排名144
7.5在线用户集体注意力流的普适模式146
7.5.1异速标度律147
7.5.2耗散律149
7.5.3引力律150
7.5.4Heaps律151
7.6小结152
附录大数据思考154
附录A大数据与小数据154
附录B数据的起源158
附录C大数据时代的信息系统161
附录D数据库（DB）与大数据（BD）163
附录E大数据多学科交叉研究166
附录F创新数据管理研究2.0168
附录G面向移动计算与云计算的数据管理170
附录H大数据时代的到来：数据空间与闪存数据库研究172
附录I隐私保护研究175
附录J网络与移动数据管理研究176
附录K大数据管理基石：Web数据管理178
附录L大数据管理基石：数据集成181
附录M从数据库大师看数据库发展182
参考文献185