大数据分析理论与技术

本书系统、全面地研究和论述大数据分析理论与技术，主要内容包括大数据分析基础认知、大数据分析核心架构、大数据分析计算模式、大数据与网络空间安全、大数据与自然语言处理、大数据与医学信息处理。本书可满足各类高校多样化人才长期培养的需求，可供从事网络空间安全、计算机科学与技术、软件工程、人工智能、信息与通信工程等相关学科专业的教学、科研、应用人员阅读和使用，对从事大数据分析相关研究的人员具有重要的实用和参考价值。此外，本书也可供其他非专业及相关研究人员参考使用，具有重要的指导意义。

第1章 大数据分析基础认知001
1.1 引言001
1.2 知识基础001
1.2.1 基本概念001
1.2.2 数据科学与其他学科的关系004
1.3 历史现状006
1.3.1 发展历史006
1.3.2 研究现状008
1.3.3 中国大数据研究与发展战略010
1.4 主要应用011
1.4.1 互联网行业主要应用011
1.4.2 医疗行业主要应用012
1.4.3 金融行业主要应用014
1.4.4 交通行业主要应用014
1.4.5 教育行业主要应用014
1.5 存在问题015
1.5.1 数据存储015
1.5.2 信息安全015
1.5.3 数据共享017
1.6 发展趋势018
1.6.1 大数据技术发展趋势018
1.6.2 大数据应用发展趋势019
1.7 小结021
1.8 习题022
第2章 大数据分析核心架构023
2.1 引言023
2.2 数据分析架构认知基础023
2.2.1 软件架构023
2.2.2 数据库及管理系统026
2.2.3 并行计算028
2.2.4 分布式计算029
2.2.5 云计算032
2.3 分析架构Hadoop034
2.3.1 Hadoop基础知识034
2.3.2 Hadoop系统架构035
2.3.3 Hadoop典型案例040
2.3.4 Hadoop编程接口042
2.4 分布式文件系统HDFS046
2.4.1 HDFS基础知识046
2.4.2 HDFS系统架构047
2.4.3 HDFS主要特征049
2.4.4 HDFS编程接口051
2.5 分析架构Spark055
2.5.1 Spark基础知识055
2.5.2 Spark系统架构056
2.5.3 Spark主要特征059
2.5.4 Spark典型案例061
2.5.5 Spark编程接口063
2.6 分布式数据库Hbase066
2.6.1 Hbase基础知识066
2.6.2 Hbase系统架构067
2.6.3 Hbase主要特征069
2.6.4 Hbase编程接口071
2.7 数据仓库Hive073
2.7.1 Hive基础知识073
2.7.2 Hive系统架构074
2.7.3 Hive主要特征076
2.7.4 Hive编程接口077
2.8 小结079
2.9 习题080
第3章 大数据分析计算模式081
3.1 引言081
3.2 数据分析挖掘认知基础081
3.2.1 模式识别认知基础081
3.2.2 数据挖掘认知基础084
3.3 静态批处理MapReduce087
3.3.1 基础知识087
3.3.2 编程模型088
3.3.3 体系结构090
3.3.4 工作流程092
3.3.5 容错机制095
3.3.6 编程实例095
3.3.7 典型案例099
3.4 实时流计算Storm100
3.4.1 基础知识100
3.4.2 编程模型101
3.4.3 体系结构104
3.4.4 工作流程104
3.4.5 容错机制105
3.4.6 编程实例106
3.4.7 典型案例107
3.5 图计算Pregel108
3.5.1 基础知识108
3.5.2 编程模型109
3.5.3 体系结构111
3.5.4 工作流程112
3.5.5 容错机制113
3.5.6 编程实例114
3.5.7 典型案例116
3.6 数据可视化118
3.6.1 可视化简介118
3.6.2 可视化方法119
3.6.3 可视化技术122
3.6.4 可视化工具124
3.6.5 可视化案例125
3.6.6 可视化发展趋势126
3.7 小结127
3.8 习题127
第4章 大数据与网络空间安全129
4.1 引言129
4.2 网络空间安全认知基础129
4.2.1 信息网络知识基础130
4.2.2 信息安全对抗的基本概念132
4.2.3 信息安全对抗基础理论概述134
4.3 网络空间安全大数据基础资源137
4.3.1 用户数据137
4.3.2 行业数据137
4.3.3 流量日志数据139
4.3.4 网络舆情数据139
4.3.5 应用数据集139
4.4 网络空间大数据安全分析141
4.4.1 安全事件关联分析141
4.4.2 网络异常检测分析143
4.4.3 数据内容安全分析146
4.4.4 安全态势感知分析148
4.4.5 安全分析应用案例152
4.5 网络空间大数据安全防护156
4.5.1 大数据的威胁与攻击156
4.5.2 大数据安全防护技术160
4.5.3 大数据安全建设案例166
4.6 小结171
4.7 习题171
第5章 大数据与自然语言处理173
5.1 引言173
5.2 自然语言处理认知基础174
5.2.1 研究简史174
5.2.2 基本概念175
5.2.3 基本方法175
5.2.4 面临困难176
5.3 自然语言处理大数据基础资源176
5.3.1 基础语料库176
5.3.2 语言知识库180
5.3.3 知识图谱182
5.4 自然语言处理大数据分析技术184
5.4.1 实体关系抽取185
5.4.2 命名实体识别190
5.4.3 情感分类194
5.4.4 文本摘要198
5.4.5 机器翻译204
5.4.6 自动问答206
5.5 自然语言处理大数据分析应用案例210
5.5.1 IBM沃森大型问答系统210
5.5.2 百度机器翻译系统214
5.5.3 微软机器人小冰216
5.5.4 BFS舆情分析系统219
5.6 小结227
5.7 习题227
第6章 大数据与医学信息处理229
6.1 引言229
6.2 医学信息处理基础认知229
6.2.1 基本概念229
6.2.2 研究简史230
6.2.3 基本方法232
6.2.4 面临困难233
6.3 医学信息处理大数据基础资源234
6.3.1 基因数据资源235
6.3.2 医学图像资源236
6.3.3 电子健康记录238
6.3.4 医学语音记录240
6.4 医学信息处理大数据分析技术241
6.4.1 基因序列分析241
6.4.2 医学图像处理245
6.4.3 电子病历分析249
6.4.4 医学语音处理252
6.5 医学信息处理大数据分析应用案例254
6.5.1 精准医疗255
6.5.2 糖尿病健康促进系统259
6.5.3 老年健康综合评估系统267
6.5.4 远程医疗271
6.6 小结273
6.7 习题274