互联网大数据挖掘与分类/网络新技术系列丛书

近年来，互联网的快速发展、新应用的不断出现 、网络带宽的不断提高和网络数据流的急剧增加给互 联网数据分析研究带来了技术挑战，互联网数据挖掘 和分类对于网络计费、流量工程、网络安全等领域具 有广泛应用价值。程光、周爱平、吴桦著的《互联网 大数据挖掘与分类》主要针对互联网大数据挖掘与分 类问题，系统介绍了作者在互联网数据分析处理方面 的理论及实践的研究成果，主要介绍两个互联网大数 据的挖掘和分类平台：基于hadoop集群网络被动测量 数据分析平台和基于覆盖网的主动测量网络故障诊断 平台，同时本书分别探讨了基于这两个平台的超点抽 样检测方法、并行长持续时间流检测方法、面向 MapReduce的大流识别方法、基于信息熵灵敏度的异 常检测方法、HTTP流量的页面关联、网络流的分类方 法等六个方面的互联网大数据挖掘和分类问题。本书 的内容对深入研究互联网数据测量和分析方法具有重 要的借鉴意义，为网络安全和网络管理，特别是校园 网的管理提供了参考。本书可供计算机科学、信息科 学、网络工程及流量工程等学科的科研人员、大学教 师和相关专业的研究生和本科生，以及从事计算机网 络管理领域、网络工程及网络安全保护的技术人员阅 读参考。

程光，男，1973年2月生，安徽黄山人，工学博士，东南大学计算机科学与工程学院教授、博导，东南大学计算机网络和信息集成 重点实验室主任，2005—2006年期间在美国佐治亚理工大学从事博士后研究，2012年在美国亚利桑那大学从事高级访问学者研究工作。目前研究兴趣在网络安全、网络测量、网络行为学、网络管理和科学可视化等。先后主持参加国家973项目、国家科技支撑项目、国家自然基金、 科技重点项目、江苏省自然基金等20多项纵向课题研究。发表学术论文80余篇，出版专著及教材共5部，申请和授权专利20余项。

1 绪论 1.1 背景知识 1.1.1 研究背景 1.1.2 研究意义 1.2 网络测量技术 1.2.1 网络测量常见对象 1.2.2 网络测量分析的问题 1.2.3 单点测量常用方法 1.2.4 单点网络测量常用工具 1.2.5 分布式网络测量技术 1.3 分类算法 1.3.1 决策树 1.3.2 贝叶斯分类 1.3.3 支持向量机 1.4 C4.5算法 l.4.1 算法概述 1.4.2 决策树的分割 1.4.3 决策树的剪枝 1.4.4 剪枝实例 1.4.5 十折交叉验证方法 1.4.6 测度子集选择方法 1.5 数据挖掘方法 1.5.1 聚类方法 1.5.2 k-近邻算法 1.6 流数据结构 1.6.1 Bitmap 1.6.2 混合Counter 1.6.3 Count-Min Sketch 1.6.4 Bloom Filter 1.6.5 Counter Braids 1.6.6 BRICK 1.7 流量测量的评价指标 1.7.1 误报率和漏报率 1.7.2 相对误差 1.7.3 相对差 1.7.4 熵 1.8 小结 参考文献 2 互联网大数据分析系统 2.1 系统设计 2.1.1 总体设计 2.1.2 数据收集层设计 2.1.3 并行算法层设计 2.1.4 查询层设计 2.2 测度定义 2.2.1 输入测度 2.2.2 用户行为测度 2.2.3 输出测度 2.3 基于MapReduce测度的计算方法 2.3.1 单点TCP测度 2.3.2 并行TCP测度 2.3.3 流聚合并行方法 2.3.4 用户行为测度 2.3.5 并行算法优化 2.4 系统实现 2.4.1 存储模块实现 2.4.2 测度计算模块实现 2.4.3 用户行为分析模块实现 2.4.4 查询模块实现 2.5 实验分析 2.5.1 实验环境 2.5.2 实验平台布署 2.5.3 实验数据集 2.5.4 实验结果分析 2.5.5 可扩展性分析 2.5.6 性能瓶颈分析 2.6 小结 参考文献 3 超点数据流检测方法 3.1 引言 3.2 并行数据流方法 3.2.1 方法描述 3.2.2 相关定义 3.2.3 数据结构 3.2.4 更新归并过程 3.2.5 链接度估计 3.2.6 超点检测 3.3 性能分析 3.3.1 存储开销 3.3.2 准确性 3.3.3 计算性能 3.4 实验分析 3.4.1 实验数据 3.4.2 评价标准 3.4.3 链接度估计 3.4.4 参数评估 3.4.5 算法对比 3.5 小结 参考文献 4 长持续时间流检测方法 4.1 引言 4.2 问题定义 4.3 数据结构 4.4 基于共享数据结构的检测方法 4.4.1 方法描述 4.4.2 方法流程 4.4.3 实验结果分析 4.5 基于独立数据结构的检测方法 4.5.1 方法描述 4.5.2 方法流程 4.5.3 性能分析 4.5.4 实验结果分析 4.6 小结 参考文献 5 大流的自适应抽样识别方法 5.1 引言 5.2 大流识别方法 5.2.1 问题定义 5.2.2 方法描述 5.2.3 自适应抽样 5.2.4 数据划分 5.2.5 大流识别 5.3 实验结果分析 5.3.1 实验环境 5.3.2 估计精度 5.3.3 负载均衡 5.3.4 可扩展性 5.3.5 数据更新 5.3.6 Reducer数量 5.4 小结 参考文献 6 流量异常的信息熵检测方法 6.1 引言 6.1.1 研究背景 6.1.2 研究意义 6.1.3 相关研究 6.1.4 本章内容 6.2 信息熵灵敏度分析 6.2.1 理论分析 6.2.2 实验分析 6.2.3 分析结论 6.3 流量异常检测方法 6.3.1 测度定义 6.3.2 基于Kmeans的阈值选择 6.3.3 正常流量BID学习 6.3.4 验证方案 6.4 实验结果分析 6.4.1 实验环境 6.4.2 攻击流量获取 6.4.3 攻击检测能力评估 6.4.4 检测准确性 6.5 小结 参考文献 7 网页关联分析方法 7.1 概述 7.1.1 研究背景 7.1.2 研究意义 7.1.3 相关研究 7.2 网页关联概念 7.2.1 定义 7.2.2 问题描述 7.2.3 输入输出描述 7.2.4 分类 7.2.5 网页引用方法 7.3 基于DPI的网页关联方法 7.3.1 方法概述 7.3.2 基于HTTP头信息的引用发现方法 7.3.3 请求网页父引用提取方法 7.3.4 HTTP网页解码算法 7.3.5 基于网页内容的引用发现算法 7.3.6 父子引用关联方法 7.4 DPI关联方法实验分析 7.4.1 在线采集数据分析 7.4.2 被动测量数据关联分析 7.5 网页关联存在的问题 7.5.1 页面悬浮广告 7.5.2 弹出窗口广告 7.5.3 link href 7.5.4 广告关联问题分析 7.6 算法改进对比 7.6.1 测试一 7.6.2 测试二 7.6.3 测试三 7.7 基于DFI的网页关联方法 7.7.1 主流识别规则 7.7.2 辅流关联方法 7.7.3 实验结果分析 7.8 小结 参考文献 8 面向网络流的分类方法 8.1 引言 8.1.1 测度定义 8.1.2 背景研究 8.1.3 研究意义 8.2 流特征选择方法 8.2.1 特征选择方法 8.2.2 混合特征选择 8.2.3 实验结果分析 8.3 代价敏感分类方法 8.3.1 数据重采样 8.3.2 代价敏感学习 8.3.3 基于Adacost的分类算法 8.3.4 实验结果分析 8.5 集成学习分类方法 8.5.1 集成学习基本概念 8.5.2 基于均值决策的集成学习方法 8.5.3 基于精度权重的集成学习方法 8.5.4 基于代价敏感的集成学习方法 8.5.5 实验结果分析 8.6 小结 参考文献 9 基于覆盖网监测的故障推理 9.1 研究背景及意义 9.2 基本概念 9.2.1 社区的概念 9.2.2 覆盖网 9.2.3 chord 9.3 数据处理 9.3.1 集中式处理的问题 9.3.2 负载均衡 9.3.3 症状数据存取索引 9.3.4 症状数据预处理 9.4 故障推理算法 9.4.1 客户端故障判断算法 9.4.2 现有方法 9.4.3 故障推理算法 9.4.4 算法设计 9.5 系统设计实现 9.5.1 系统设计 9.5.2 实验工具 9.5.3 实验环境 9.5.4 实验结果分析 9.6 小结 参考文献 彩插