大数据平台异常检测分析系统的若干关键技术研究

大数据技术生态体系中的各类技术构件本身没有可自省的安全机制，构件间使用的RPC协议也没有安全机制，大数据平台的安全性面临着巨大挑战，如何高效、快速地检测大数据平台中的应用异常对提高大数据平台的安全性具有重要意义。本书在介绍相关研究工作及相关基础内容之后，主要针对大数据平台的应用层日志数据，研究了平台异常的检测与分析问题，构建了大数据平台异常的离线检测分析的方法体系及实时检测的机制。研究了基于数据流二重概念漂移检测的增量学习、分布式日志的优选频繁序列模式挖掘算法、基于优选频繁模式的动态规则库构建算法、基于Web会话流的分布式实时异常定位算法、基于优选信息系数的在线异常检测算法、基于聚类分析的离线异常检测算法、基于相邻请求的动态时间阈值会话识别算法、基于会话特征相似性模糊聚类的SFAD异常检测算法、基于贝叶斯粒子群的异常检测算法、平台异常时的推测式任务调度策略、基于实时负载的推测式任务调度算法。分析了大数据平台异常检测分析（RADA）系统在实现时所采用的大数据技术与组件技术选型，针对RADA系统进行了深入的结构化分析，介绍了基于融合架构的RADA系统概要设计，研究了RADA系统的详细设计与实现方法，完整地总结了大数据平台异常的实时检测技术与分析RADA系统的关键技术。 本书可为产业界与学术界相关人员提供应用研发的帮助，可供计算机专业、软件工程专业的相关工程技术人员、研究人员学习、参考。

第1章绪论
1.1大数据平台异常检测分析研究的背景与意义
1.2大数据平台异常检测分析技术的国内外相关研究进展
1.2.1大数据平台异常检测分析技术的国内外研究现状
1.2.2大数据平台异常检测分析系统的国内外研究现状
1.3本书的主要贡献
1.4本书的组织结构
1.5本章小结
第2章大数据平台异常检测分析的相关基础
2.1引言
2.2日志
2.3日志预处理
2.4异常检测
2.4.1异常检测的定义
2.4.2几类常见的异常检测算法
2.5入侵检测Snort系统
2.6Web用户行为模式挖掘
2.7本章小结
第3章基于数据流二重概念漂移检测的增量学习
3.1引言
3.2二重概念漂移检测机制
3.3基于数据属性的二重概念漂移检测机制
3.4基于分类性能的二重概念漂移检测机制
3.5基于增量SVM与二重检测的概念漂移数据流分类模型TDD-ISVM
3.6TDD-ISVM算法的时间复杂度分析
3.7实验设计与结果分析
3.7.1实验数据集
3.7.2实验结果与分析
3.8本章小结
第4章分布式日志的优选频繁序列模式挖掘算法
4.1引言
4.2序列模式挖掘相关工作
4.3动机与背景
4.3.1使用分布式计算框架的动机与背景
4.3.2使用PrefixSpan算法挖掘序列模式的动机与背景
4.3.3改进PrefixSpan算法提取局部优选频繁序列的动机与背景
4.3.4改进PrefixSpan算法提取全局优选频繁序列的动机与背景
4.4分布式日志优选频繁序列模式挖掘算法描述
4.4.1基于Spark的分布式计算框架
4.4.2算法总体描述
4.4.3算法第一阶段：各节点提取局部优选频繁序列
4.4.4算法第二阶段：各节点集成，提取全局优选频繁序列
4.5实验设计与结果分析
4.5.1实验数据集
4.5.2实验结果与分析
4.6本章小结
第5章基于优选频繁模式的动态规则库构建算法
5.1引言
5.2动态Web用户访问序列数据库DWASD的构建
5.3基于DWASD的分布式PrefixSpan算法
5.3.1PrefixSpan算法改进描述
5.3.2算法的时间复杂度分析
5.4实验设计与结果分析
5.4.1实验数据集
5.4.2实验结果与分析
5.5本章小结
第6章基于Web会话流的分布式实时异常定位算法
6.1引言
6.2基于Web会话流的实时异常定位框架
6.3基于混合生物基因序列比对的异常定位AL_HBGSA算法
6.3.1基本概念
6.3.2AL_HBGSA序列比对算法
6.3.3AL_HBGSA算法的时间复杂度分析
6.4实验设计与结果分析
6.4.1实验数据集
6.4.2实验结果与分析
6.5本章小结
第7章基于优选信息系数的在线异常检测算法
7.1引言
7.2相关基础
7.2.1用户活跃度
7.2.2优选信息系数
7.3基于优选信息系数的在线异常检测算法介绍
7.4算法的时间复杂度分析
7.5实验设计与结果分析
7.5.1实验数据集
7.5.2实验结果与分析
7.6本章小结
第8章基于聚类分析的离线异常检测算法
8.1引言
8.2基本聚类算法
8.2.1K-means聚类算法
8.2.2Canopy聚类算法
8.2.3CMBK聚类算法
8.3基于改进聚类分析的离线异常检测算法
8.3.1异常指数
8.3.2CMBK4AD离线异常检测算法
8.4算法的时间复杂度分析
8.5实验设计与结果分析
8.5.1实验数据集
8.5.2实验结果与分析
8.6本章小结
第9章基于相邻请求的动态时间阈值会话识别算法
9.1引言
9.2相关基础
9.2.1页面访问时间阈值
9.2.2用户访问时间阈值
9.2.3设置页面时间阈值
9.3DAITS算法
9.4实验设计与结果分析
9.4.1实验数据集
9.4.2实验结果与分析
9.5本章小结
第10章基于会话特征相似性模糊聚类的SFAD异常检测算法
10.1引言
10.2基本工作
10.2.1会话特征中网络权重的计算
10.2.2会话特征相似性的计算
10.2.3会话数据集的模糊聚类方法
10.3会话特征相似性模糊聚类的异常检测算法
10.3.1会话的数据结构及生成
10.3.2建立用户相似性矩阵
10.3.3检测和定位异常用户
10.4实验设计与结果分析
10.4.1数据集描述
10.4.2实验结果与分析
10.5本章小结
第11章基于贝叶斯粒子群的异常检测算法
11.1引言
11.2基于朴素贝叶斯分类的异常检测模型ADM-NBC
11.2.1用户会话特征提取
11.2.2ADM-NBC的构建
11.3基于ADM-NBC的WNB-PSO算法
11.3.1加权朴素贝叶斯分类算法
11.3.2粒子群优化算法
11.3.3改进的粒子群优化算法
11.3.4WNB-PSO算法描述
11.4实验设计与结果分析
11.4.1实验数据集
11.4.2实验结果与分析
11.5本章小结
……