大数据技术及应用教程 第2版

u 按照大数据基础知识-理论与技术-行业案例研究的顺序，分别讲解大数据系统的大数据采集与预处理、大数据存储、计算模式与处理系统、查询显示与交互、大数据分析与数据挖掘、隐私与安全等诸方面技术。 u 详细介绍了大量的行业案例（银行、保险、证券、金融行业)，涉及大数据分析及辅助决策的理论与技术方法在具体行业中的应用。 u 随书配套有PPT教学课件、教学大纲、教学计划、习题解答、参考试题及答案，便于教师参考使用。

本书详细介绍了大数据技术的基础理论和主流前沿技术。全书共分9章，分别介绍目前面临的大数据时代、大数据系统的基本结构、大数据采集与预处理、大数据处理基础架构——云计算、计算模式与处理系统、查询展现与交互、大数据分析与数据挖掘、隐私与安全、前沿技术及应用、行业案例研究。 每一章除讲解相关理论外，还讲解了适用技术及案例。各章都附有案例以帮助读者学习、理解和实际工程应用。为方便教师教学，本书附有全套教学PPT课件、教学大纲、教学计划。 本书主要作为高等院校计算机类专业、电子信息类专业、经济类专业、管理类专业相关本科生和研究生专业基础课的教材，也可以作为干部培训、职业技术教育以及职业培训机构的云计算与大数据分析技术的专业训练教材。

第一部分大数据基础知识
第1章大数据时代3
1.1数据时代3
1.1.1大数据时代的到来3
1.1.2数据、信息与知识的演进3
1.1.3数据6
1.2大数据8
1.2.1什么是大数据8
1.2.2大数据发展历史与现状9
1.2.3大数据产业10
1.3大数据技术基础10
1.3.1传统的大数据处理流程10
1.3.2大数据核心技术11
1.3.3大数据技术分类12
1.3.4大数据分析的方法理论14
1.4大数据的社会价值15
1.5大数据的商业应用16
1.5.1商业大数据的类型和价值挖掘方法16
1.5.2大数据的十大商业应用场景17
1.5.3成为“大数据企业”19
1.6大数据应用案例: 《非诚勿扰》男女嘉宾牵手数据分析19
习题与思考题23
第2章大数据系统的基本架构24
2.1大数据系统总体架构24
2.2大数据技术框架25
2.3大数据技术进展27
2.3.1典型的大数据技术栈28
2.3.2大数据技术生态28
2.4大数据应用案例: 在“北上广”打拼是怎样一种体验30
习题与思考题34
第二部分大数据理论与技术
第3章大数据系统输入39
3.1大数据采集过程及数据来源39
3.1.1大数据采集来源39
3.1.2大数据采集过程40
3.2大数据采集方法40
3.3大数据导入/预处理42
3.3.1大数据导入/预处理的过程42
3.3.2数据清洗的过程44
3.3.3数据清洗与数据采集技术46
3.3.4基于大数据的数据预处理47
3.4数据集成49
3.4.1数据集成的概念49
3.4.2数据集成面临的问题49
3.5数据变换49
3.5.1异构数据分析50
3.5.2异构数据交换策略51
3.5.3异构数据交换技术52
3.6大数据应用案例: 电影《爸爸去哪儿》大卖有前兆吗54
习题与思考题61
第4章大数据系统处理63
4.1云计算63
4.1.1云计算系统的体系结构63
4.1.2云计算的核心技术64
4.1.3云计算的主要服务形式68
4.1.4大数据平台的作用69
4.2大数据存储70
4.2.1海量数据的存储需求71
4.2.2海量数据存储技术71
4.2.3云存储72
4.2.4NoSQL非结构化数据库73
4.2.5数据仓库74
4.3大数据计算模式与处理系统75
4.3.1数据计算75
4.3.2聚类算法77
4.3.3数据集成77
4.3.4数据处理语言81
4.4大数据应用案例: 北京人在哪儿上班和睡觉82
习题与思考题85
第5章大数据系统输出87
5.1数据的查询87
5.1.1在常规数据库查询结构化数据87
5.1.2大数据时代的数据搜索87
5.1.3数据库与信息检索技术的比较89
5.2网络数据索引与查询技术90
5.2.1搜索引擎技术概述90
5.2.2Web搜索引擎的工作原理91
5.3大数据索引和查询技术94
5.3.1大数据索引和查询94
5.3.2大数据处理索引工具MapReduce94
5.3.3相似性搜索工具96
5.4数据展现与交互98
5.4.1数据可视化98
5.4.2知识图谱103
5.5大数据应用案例: 上海的房子都被谁买走了105
习题与思考题109
第6章大数据分析与数据挖掘111
6.1大数据分析及其应用111
6.1.1数据处理和分析的发展111
6.1.2大数据分析面对的数据类型113
6.1.3大数据分析与处理方法114
6.1.4数据分析的步骤114
6.1.5大数据分析的应用116
6.2数据挖掘技术119
6.2.1数据挖掘的定义119
……