网络安全中的数据挖掘技术

本书以网络安全中主要子领域为主线，以数据挖掘算法为基础，搜集了大量基于数据挖掘的网络安全技术研究成果，汇编了数据挖掘技术在隐私保护、恶意软件检测、入侵检测、日志分析、网络流量分析、网络安全态势评估、数字取证等网络安全领域的应用，介绍了常用的网络安全数据集，并搜集了大量的网络安全资源，以供读者能将本书内容应用于实际的研究或学习中。
本书可作为研究人员、网络安全工程人员和对基于数据挖掘的网络安全技术感兴趣的研究生的参考书，也可作为高等院校高年级课程的教学用书，还可供相关领域工作的读者参考。

李涛，美国佛罗里达靠前大学计算机学院／南京邮电大学计算机学院教授。研究兴趣主要包括数据挖掘、机器学习和信息检索及生物信息学等领域，并在这些领域开展了一系列有相当影响力的理论与实证研究，取得了突出的成就。在基于矩阵方法的数据挖掘和学习、音乐信息检索、系统日志数据挖掘以及数据挖掘的各种应用等方面做出了具有开创性和前瞻性的研究。由于在数据挖掘及应用领域做出了成效显著的研究工作，李涛教授曾多次获得各种荣誉和奖励，其中包括2006年美国国家自然科学基金委颁发的杰出青年教授奖(NSF CAREER Award，2006-2010)；2010年IBM大规模数据分析创新奖(Scalable Data Analytics Innovation Award，2010)；多次获得IBH学院研究奖(2005、2007、2008)；2009年获得佛罗里达靠前大学科研优选荣誉——优选学术研究奖；多次获得施乐公司学院研究奖(2011-2014)；并于2011年获得佛罗里达靠前大学工程学院首位杰出导师奖(该奖2011年初次设立)，2014年再获此殊荣。

第1章简介1
1.1网络安全概述1
1.2网络安全概念2
1.2.1网络安全定义2
1.2.2网络安全面临的挑战3
1.2.3网络安全的重要性3
1.3网络空间(信息)安全学科4
1.3.1学科概况4
1.3.2学科培养目标4
1.3.3学科的主要研究方向及内容4
1.3.4学科的研究方向及内容5
1.4数据挖掘简介5
1.4.1数据挖掘含义与简介5
1.4.2什么是数据挖掘5
1.4.3专家学者对数据挖掘的不同定义6
1.4.4为什么要进行数据挖掘6
1.4.5数据挖掘的特点7
1.5数据挖掘算法简介8
1.5.1十大数据挖掘算法8
1.5.2国内外的数据挖掘发展状况12
1.5.3数据挖掘的步骤13
第2章基于隐私保护的数据挖掘14
2.1摘要14
2.2隐私保护概述14
2.3隐私保护技术介绍16〖1〗网络安全中的数据挖掘技术〖1〗目录2.3.1基于限制发布的技术16
2.3.2基于数据加密的技术24
2.3.3基于数据失真的技术27
2.3.4隐私保护技术对比分析35
2.4隐私保护和数据挖掘模型37
2.5隐私披露风险度量37
2.6隐私保护中的数据挖掘应用38
2.6.1基于隐私保护的关联规则挖掘方法38
2.6.2基于聚类的匿名化算法39
2.6.3基于决策树的隐私保护41
2.6.4基于贝叶斯分类的隐私保护43
2.6.5基于特征选择的隐私保护43
2.7大数据安全与隐私保护47
2.7.1大数据概述47
2.7.2大数据安全与隐私保护48
2.8小结52
中英文词汇对照表52
参考文献53
第3章恶意软件检测58
3.1概述58
3.2恶意软件检测技术59
3.2.1恶意软件检测技术的发展59
3.2.2常用恶意软件检测技术60
3.2.3恶意软件特征提取技术62
3.3数据挖掘在恶意软件检测中的应用65
3.3.1基于分类方法的恶意软件检测67
3.3.2基于聚类分析方法的恶意软件归类80
3.3.3基于数据挖掘技术的钓鱼网站检测85
小结87
中英文词汇对照表88
参考文献89
第4章入侵检测93
4.1概述93
4.2入侵检测技术94
4.2.1入侵检测技术的发展94
4.2.2入侵检测的分析方法95
4.2.3入侵检测系统96
4.3数据挖掘在入侵检测中的应用97
4.3.1基于分类方法的入侵检测99
4.3.2基于关联分析方法的入侵检测103
4.3.3基于聚类分析方法的入侵检测111
4.3.4数据挖掘在入侵检测规避与反规避中的应用114
小结118
中英文词汇对照表118
参考文献120
第5章日志分析124
5.1日志分析介绍124
5.1.1日志文件的特点及日志分析的目的124
5.1.2日志的分类126
5.1.3网络日志分析相关术语131
5.1.4网络日志分析流程132
5.1.5日志分析面临的挑战135
5.2日志分析模型与方法135
5.2.1日志分析方法137
5.2.2日志分析工具139
5.3日志文件的异常检测140
5.3.1基于监督学习的异常检测140
5.3.2基于无监督学习的异常检测143
5.4基于事件模式的系统故障溯源145
5.4.1从日志到事件146
5.4.2事件模式挖掘147
5.4.3日志事件的依赖性挖掘1485.4.4基于依赖关系的系统故障溯源151
5.5事件总结151
5.5.1事件总结相关背景152
5.5.2基于事件发生频率变迁描述的事件总结152
5.5.3基于马尔可夫模型描述的事件总结153
5.5.4基于事件关系网络描述的事件总结153
小结159
中英文词汇对照表159
参考文献159
第6章网络流量分析162
6.1流量分析介绍162
6.1.1网络流量分析概述163
6.1.2网络流量分析的目的164
6.1.3网络流量分析的现状164
6.1.4网络流量分析的流程164
6.2网络流量的采集方法165
6.2.1流量采集概述165
6.2.2流量采集方法165
6.2.3流量采集的问题166
6.2.4网络流量数据集167
6.3常用的网络流量分析模型及方法168
6.3.1流量分析模型168
6.3.2常用的流量分析方法168
6.3.3数据挖掘方法在流量分析中的应用173
6.3.4其他的流量分析方法187
小结191
中英文词汇对照表191
参考文献191
第7章网络安全态势评估193
7.1概述193
7.2支持向量机方法1947.2.1支持向量机原理194
7.2.2评价指标体系的建立及实现197
7.3贝叶斯网络概述198
7.3.1贝叶斯网络基础知识199
7.3.2表示与构成201
7.3.3特点201
7.3.4贝叶斯网络建造201
7.3.5基于贝叶斯网络的网络态势评估模型202
7.4隐马尔可夫方法206
7.4.1HMM模型概述206
7.4.2隐马尔可夫模型概念206
7.4.3HMM的基本算法207
7.4.4建立网络态势评估模型212
小结215
参考文献215
第8章数字取证217
8.1概述217
8.2数字取证技术218
8.2.1数字取证的定义218
8.2.2数字取证的发展220
8.2.3数字取证的原则、流程、内容和技术221
8.2.4数字取证面临的挑战225
8.3数据挖掘在数字取证中的应用229
8.3.1文献概览229
8.3.2现有用于数字取证的数据挖掘技术和工具233
8.3.3电子邮件挖掘233
8.3.4数据碎片分类241
8.3.5文档聚类243
小结247
中英文词汇对照表248
参考文献249
第9章网络安全数据集简介及采集254
9.1数据集简介254
9.1.1DARPA入侵检测评估数据集254
9.1.2KDDCup99与NSLKDD数据集257
9.1.3HoneyNet数据集269
9.1.4Challenge2013数据集272
9.1.5Adult数据集273
9.1.6恶意软件数据集276
9.2网络数据包采集与回放277
9.2.1TCPDUMP抓包277
9.2.2Wireshark抓包283
9.2.3网络数据包回放286
9.2.4网络抓包编程288
小结295
中英文词汇对照表295
参考文献296
附录A网络安全资源介绍299
附录B部分代码319