大数据 通识课版

" l 适应各层次文科、理工科大学生选修课的知识需求，主要作为大学公共通识选修课的教材，也可以作为专业培训教材。 l 详细介绍了大数据技术的基础理论和近期新主流前沿技术，提供了大量的实际案例、数据分析适用技术。 l 随书配套有PPT教学课件、教学大纲、教学计划、参考试题及答案，便于教师参考使用。"

本书详细介绍了大数据技术的基础理论和近期新主流前沿技术，全书共分为8章，分别介绍人们目前面临的数字化信息社会的大数据时代、大数据系统的基本架构、大数据系统输入、大数据系统处理、大数据系统输出、大数据分析与数据挖掘、大数据隐私与安全和行业案例研究。
本书主要作为高等院校各专业相关本科生大学通识课的教材，也可以作为培训、职业技术教育的大数据分析技术的专业培训教材，对从事与大数据分析工作的财政、金融、政府管理方面的管理与工程技术人员也有学习参考价值。

西安交通大学 城市学院 教授、副系主任 美国俄亥俄州立大学访问教授 财政部、陕西省政府、西安市政府特聘顾问专家。近5年在清华大学出版社出版大学本科教材6本（均为普通高等教育规划教材），科普畅销书1本。

第一部分大数据基础知识
第1章大数据时代3
1.1数据时代3
1.1.1大数据时代的到来3
1.1.2数据、信息与知识的演进3
1.1.3数据6
1.2大数据8
1.2.1什么是大数据8
1.2.2大数据发展历史与现状10
1.2.3大数据能做和不能做的事11
1.2.4大数据产业12
1.3大数据技术基础12
1.3.1传统的大数据处理流程12
1.3.2大数据核心技术13
1.3.3大数据技术分类14
1.3.4大数据分析的方法理论16
1.4大数据的社会价值17
1.5大数据的商业应用18
1.5.1商业大数据的类型和价值挖掘方法18
1.5.2大数据的十大商业应用场景19
1.5.3成为“大数据企业”21
1.6大数据应用案例:《非诚勿扰》男女嘉宾牵手数据分析21
习题与思考题25
第2章大数据系统的基本架构27
2.1大数据系统总体架构27
2.2大数据技术框架28
2.3大数据应用案例:在“北上广”打拼是怎样一种体验30
习题与思考题35
第二部分大数据理论与技术
第3章大数据系统输入39
3.1大数据采集过程及数据来源39
3.1.1大数据采集来源39
3.1.2大数据采集过程40
3.2大数据采集方法40
3.3大数据导入/预处理42
3.3.1大数据导入/预处理的过程42
3.3.2数据清洗的过程44
3.3.3数据清洗与数据采集技术46
3.3.4基于大数据的数据预处理47
3.4数据集成49
3.4.1数据集成的概念49
3.4.2数据集成面临的问题49
3.5数据变换49
3.5.1异构数据分析50
3.5.2异构数据交换策略51
3.5.3异构数据交换技术52
3.6大数据应用案例:电影《爸爸去哪儿》大卖有前兆吗54
习题与思考题61
第4章大数据系统处理63
4.1大数据处理基础架构——云计算63
4.1.1云计算系统的体系结构63
4.1.2云计算的核心技术64
4.1.3云计算的主要服务形式68
4.1.4大数据平台的作用69
4.2大数据存储70
4.2.1海量数据存储的需求71
4.2.2海量数据存储技术71
4.2.3云存储72
4.2.4NoSQL非结构化数据库73
4.2.5数据仓库74
4.3大数据计算模式与处理系统75
4.3.1数据计算75
4.3.2聚类算法77
4.3.3数据集成77
4.3.4机器学习81
4.3.5人工智能87
4.3.6数据处理语言89
4.4大数据应用案例:北京人在哪儿上班和睡觉91
习题与思考题93
第5章大数据系统输出96
5.1数据的查询96
5.1.1常规数据库查询结构化数据96
5.1.2大数据时代的数据搜索96
5.1.3数据库与信息检索技术的比较98
5.2网络数据索引与查询技术99
5.2.1搜索引擎技术概述99
5.2.2Web搜索引擎的工作原理100
5.3大数据索引和查询技术103
5.3.1大数据索引和查询103
5.3.2大数据处理索引工具MapReduce103
5.3.3相似性搜索工具105
5.4数据展现与交互107
5.4.1数据可视化108
5.4.2知识图谱113
5.5大数据应用案例:上海的房子都被谁买走了114
习题与思考题119
第6章大数据分析与数据挖掘121
6.1大数据分析及其应用121
6.1.1数据处理和分析的发展121
6.1.2大数据分析面对的数据类型123
6.1.3大数据分析与处理方法124
6.1.4数据分析的步骤124
6.1.5大数据分析的应用127
6.2数据挖掘技术129
6.2.1数据挖掘的定义129
6.2.2利用数据挖掘进行数据分析的常用方法131
6.2.3数据挖掘的功能132
6.2.4数据挖掘的流程133
6.2.5数据挖掘的应用134
6.3商业智能与数据分析135
6.3.1商业智能技术辅助决策的发展135
6.3.2商业智能系统架构136
6.3.3商业智能的技术体系136
6.3.4商务智能=数据+分析+决策+利益138
6.4大数据营销业务模型138
6.4.1大数据对业务模式的影响138
6.4.2大数据营销的定义与特点140
6.4.3网络营销大数据实际操作142
6.4.4大数据营销方法145
6.5基于社会媒体的分析预测技术150
6.5.1基于空间大数据的社会感知150
6.5.2基于社会媒体的预测技术153
6.5.3基于消费意图挖掘的预测154
6.5.4基于事件抽取的预测157
6.5.5基于因果分析的预测157
6.6大数据应用案例:用大数据看风水——以星巴克和海底捞的选址为例160
习题与思考题164
第7章大数据隐私与安全166
7.1大数据面临的安全问题166
7.2大数据安全与隐私保护关键技术170
7.2.1基于大数据的威胁发现技术170
7.2.2基于大数据的认证技术172
7.2.3基于大数据的数据真实性分析173
7.2.4大数据与“安全即服务”173
7.3大数据安全的防护策略173
7.4大数据应用案例:数据解读城市——北京本地人VS外地人175
习题与思考题183
第三部分行业案例
第8章行业案例研究187
8.1银行业应用187
8.1.1大数据时代:银行如何玩转数据挖掘187
8.1.2中国工商银行客户关系管理案例189
8.1.3银行风险管理192
8.2保险业应用196
8.2.1保险业拥抱大数据时代或带来颠覆性变革196
8.2.2保险欺诈识别198
8.3证券期货应用199
8.3.1安徽省使用大数据监管证券期货199
8.3.2大数据分析挖出基金“老鼠仓”的启示200
8.4金融行业应用201
8.4.1大数据决定互联网金融未来201
8.4.2移动大数据在互联网金融反欺诈领域的应用204
8.5大数据应用案例:网民睡眠面面观206
参考文献208