信息安全分析学:大数据视角下安全的内核.模式和异常

《信息安全分析学》 为你提供了深入了解信息分析的实践，更重要的是可以识别趋势和异常值的分析技术，而使用传统的安全分析技术可能无法做到这一点。 信息安全分析学 消除了人们对信息安全领域内的信息分析仅局限于安全事件和事件管理系统以及基础网络分析的错误认识。分析技术可以帮助您挖掘数据并识别安全数据中的模式和关系。运用《信息安全分析学》涵盖的技术，您将能够深入了解任何类型的非结构化数据。 信息安全分析学 的作者们分享了丰富的分析技术经验并通过案例研究以演示实际操作技术。 展示如何运用免费提供的工具并结合不相干的数据集来查找异常和异常值，传授有关威胁模拟技术以及如何将分析技术用作评估组织内安全控制和流程要求的强大决策工具，学习如何使用这些模拟技术来帮助预测和剖析组织中的潜在风险。 分析学是一个非常宽泛的主题，它可以包括几乎任何能从数据中获得洞察力的手段。即使是通过简单查看数据而获得了对这些数据的深入了解，也可被看作是分析学的某种形式。然而我们在《信息安全分析学》中提及的分析学，通常指的是使用方法、工具或算法，而不仅仅是简单地查看数据。虽然分析人员应该总是将查看数据作为分析的第一步，但分析学通常所涉及的内容远多于此。可应用于数据的分析方法数量众多：包括各种类型的数据可视化工具，统计算法，查询工具，电子表格软件，专用软件等等。正如你所见，分析方法的范围相当广泛，所以我们不可能在《信息安全分析学》中涵盖其所有。 出于《信息安全分析学》的目的，我们将着重介绍那些对于发现安全漏洞和攻击特别实用的分析方法，而且这些方法可以通过免费软件或常用软件来实现。由于攻击者总是不断制造出新的攻击和危害系统的方法，安全分析人员需要大量的工具以便创造性地解决这个问题。在众多可用的工具中，我们将研究分析编程语言，它可以帮助分析人员制作自定义分析程序和应用程序。本章节中的概念介绍了对安全分析有用的框架，连同分析方法和工具都将在《信息安全分析学》的其余章节详细讲解。 作者和译者简介 Mark Ryan M. Talabis 担任Zvelo Inc.公司的首席安全威胁科学家，《信息安全风险评估工具包：通过Syngress的数据收集和数据分析进行实用评估》一书的合著者。 Robert McPherson 领导“美国财富100强”保险和金融服务公司的数据科学家团队。作为研究和分析团队的带领者，他拥有14年的领导经验（专门从事预测建模，仿真，计量经济分析和应用统计的工作）。 I. Miyamoto 担任政府机构的计算机调查员，拥有超过16年的计算机调查和取证经验，以及12年的情报分析经验。 Jason L. Martin 高级威胁检测技术领域的全球领导者FireEye Inc.公司的云业务副总裁，Shakacon安全大会的联合创始人，《信息安全风险评估工具包：通过Syngress的数据收集和数据分析进行实用评估》一书的合著者。 王晓鹤，现就职于爱立信通信有限公司任高级软件工程师。曾先后任职于中兴通讯公司和阿尔卡特朗讯公司，担任高级测试工程师、产品经理等职务，长期从事电信网络系统产品和数据网云平台产品的研发和测试工作。拥有德国乌尔姆大学信息和媒体专业理学硕士学位和东南大学通信工程学士学位。 沈卢斌，毕业于瑞典皇家理工学院（KTH）片上系统（SoC）设计专业。长期从事电信云计算平台的研发和系统安全的测试工作，是首批同时通过CCIE和HCIE认证的网络专家之一。对SDN安全、FPGA在工业互联网交换机中的设计以及基于FPGA的入侵检测系统有浓厚的兴趣和独到的见解。 译有《Google Hacking：渗透性测试者的利剑（原书第3版）》《信息安全分析学：大数据视角下安全的内核、模式和异常》《悄无声息的战场：无线网络威胁和移动安全隐私》和《防范互联网上的“野蛮人”：钓鱼检测、DDOS防御和网络攻防》等译著。

信息安全分析的作者通过案例研究和使用在结合不同的数据集时可以找到异常的免费工具，带来丰富的分析经验以展示实用的技术。他们还教授关于威胁模拟技术你所需要知道的一切，以及如何把分析当成是一个强大的决策工具来评估你组织中安全控制和过程的要求。最终，你将学习如何使用这些模拟技术来帮助预测和描述你组织的潜在的风险

Mark Ryan M. Talabis 担任Zvelo Inc.公司的首席安全威胁科学家，《信息安全风险评估工具包：通过Syngress的数据收集和数据分析进行实用评估》一书的合著者。 Robert McPherson 领导“美国财富100强”保险和金融服务公司的数据科学家团队。作为研究和分析团队的带领者，他拥有14年的领导经验（专门从事预测建模，仿真，计量经济分析和应用统计的工作）。 I. Miyamoto 担任政府机构的计算机调查员，拥有超过16年的计算机调查和取证经验，以及12年的情报分析经验。 Jason L. Martin 高级威胁检测技术领域的全球领导者FireEye Inc.公司的云业务副总裁，Shakacon安全大会的联合创始人，《信息安全风险评估工具包：通过Syngress的数据收集和数据分析进行实用评估》一书的合著者。

第1章分析学定义 安全分析学导论 分析学相关概念和技术 安全分析的数据 日常生活中的分析学 安全分析流程 延伸阅读 第2章分析软件和工具入门 导言 统计编程 数据库和大数据技术入门 R语言简介 Python简介 仿真软件简介 延伸阅读 第3章分析学和应急响应 导言 入侵和应急响应识别中的场景和挑战 日志文件分析 加载数据 其他潜在分析数据集：无栈状态编码 其他适用安全范畴和场景 综述 延伸阅读 第4章仿真和安全进程 仿真 案例学习 第5章访问分析 导言 技术入门 场景、分析和技术 案例学习 第6章安全和文本挖掘 文本挖掘安全分析中的场景和挑战 使用文本挖掘技术分析和查找非结构化数据中的模式 R语言中分步实现文本挖掘的示例 其他适用的安全领域和场景 第7章安全情报以及后续措施 概述 安全情报 安全漏洞 实际应用 结束语

    随着广泛公布的数据泄露事件越来越多地出现在新闻中，服务器安全成为最重要的问题。发生数据泄露以后，需要对服务器日志进行取证分析以便识别漏洞、执行损害评估、制定缓解措施和收集证据。然而随着网络流量的增长，布置在数据中心的Web服务器数量也日益增加，通常会产生巨量的服务器日志数据，而且这些数据很难用传统的非并行的方法进行分析。 通过使用Hadoop、MapReduce和Hive软件栈，你可以同时分析处理非常庞大的服务器日志集。Hadoop联合MapReduce一起提供了分布式文件结构和并行处理框架，而Hive使用类似SQL的语法提供查询和分析数据的能力。R则为你提供了适用于中等规模数据集的基本分析工具，或使用Hadoop和MapReduce将大数据聚合或缩小到更易于管理的数据规模大小。 有很多商业化的软件工具可帮助查询日志文件数据。其中一些如Splunk也能够处理大数据。然而在本章中我们聚焦的示例都是基于开源并且提供免费可用工具的分析平台。通过编写自己的脚本你可以根据自身情况接近定制分析程序，也能够构建可重复的处理过程。像R这样的开源工具提供了成千上万可选分析软件包，甚至还包括了其他商业化软件工具包可能还无法提供的非常复杂和前沿的方法。 商业版的工具会相当昂贵，并非所有组织和部门都有足够预算负担得起它们。如果有机会使用商业版的工具，你就应该通过各种方式去充分利用它们。商业版的工具能极其快速地探索你的数据，并且使用的图形用户界面也让它们看起来物有所值。虽然脚本方式对于重复性的任务来说是个很不错的选择，而且当需要回溯步骤或对新数据重新运行分析时，脚本方式也有非常大的优势，但它们确实需要花费一些时间和精力去编写。因此脚本方式很难击败一个刚开始就能够快速搜索数据的好用的图形界面。 考虑到商业版的工具和开源工具各有其优势，它们应被视为相互补充而不是互相竞争的技术。如果能够负担得起费用，为什么不能两者兼用？一旦学会了如何使用开源工具进行分析，例如Hadoop、MapReduce、R和Mahout，你就拥有了非常坚实的基础，进而能够理解任何平台上的分析过程了。这也将有助于你学习包括商业版工具在内的其他各类工具。 我们将在本章中探讨利用分析方法来发现场景和案例中的潜在安全漏洞。本节中的方法并非是竭尽所能涵盖的详尽目录。相反，我们希望它们能够帮助你开发一些属于你自己的创意和方法。 入侵和应急响应识别中的场景和挑战 在入侵企图识别中优选的挑战也许是“我们不知道我们不知道什么”。发现不了解的未知事件是一件很困难的任务，即我们不能预见可以绕过现有防御措施的新攻击模式。用于实时防止入侵的软件程序是必不可少的，但它们也有着明显的缺点。通常它们仅能侦测已知的攻击模式，或者用安全术语来说的“已知攻击向量”。实时入侵检测和预防往往聚焦在已知的未知事件，而不是未知的未知事件。 虽然部署实时入侵检测和预防软件必不可少，却远远不够。分析人员需要运用创造性的努力才能发现那些成功绕过现有防御措施的新型攻击。它涉及分析那些从系统收集到的数据，例如来自服务器和网络设备的日志文件以及来自个人计算设备的驱动程序等。 本章中我们将重点关注数据分析而不是数据采集。关于怎样采集数据已经有很多不错的文章和在线资源可供参考。既然大多数系统已经收集了关于网络和服务器流量的大量数据，更大的挑战就不是采集数据而是掌握该如何处理数据。无论数据源是由服务器日志组成，还是来自诸如Wireshark这类软件收集的网络数据，又或是一些其他来源，对其分析的方法通常都是相同的。例如，无论数据源如何，异常值检测方法在任何情况下都非常有用。 利用大数据分析服务器日志集 本节中我们将检验用大数据技术如何同时分析多个服务器日志。 我们将聚焦在Hive Query语言（HiveQL）中的各种查询，以协助对Apache服务器日志文件执行取证分析。我们也会涉及一些利用其他软件工具进行的分析，比如R和Mahout。由于HiveQL非常类似于基础的ANSI SQL，因此已经熟悉查询关系数据库的分析人员应该很容易地掌握它。 事实上，对已经解析并存储在关系数据库中的日志文件数据进行很少或只是微小的修改后，这里大多数的查询都可以运行了。如果拥有少量且足够的日志文件集，可能仅仅需要一个关系数据库。然而对于大量的日志记录，在Hadoop之上运行的Hive提供的并行处理则有可能将原本不可行的分析转化为可行的分析。以下示例中使用的日志文件采用流行的Apache组合格式，因而此代码也可以轻松地适配成其他格式。 日志文件分析 服务器日志格式虽然没有单一的标准，但是有一些格式相对比较常见。常见的日志文件格式包括Windows事件日志、IIS日志、防火墙日志、VPN访问日志和用于身份验证的FTP、SSH等服务的各种UNIX日志。不论怎样，Apache Foundation开源服务器软件的使用已经非常普遍，并且它能够以两种格式生成日志文件： 通用日志格式和组合日志格式。虽然用户可以修改这些格式，但较常见的情况是用户在使用时并不会修改这两种格式。除添加了两个字段以外，组合日志格式与通用日志格式相同。这两个添加字段分别是引用源和用户代理字段，引用源字段指出了客户端所引用或链接的站点，用户代理字段显示了客户端浏览器上的标识信息。尽管我们所要检验的方法可以适应任何日志格式，但本书中的服务器案例一般使用组合日志格式。 通用日志文件字段 通用日志文件字段包括：  远程主机名或用户IP地址；  用户远程登录名；  已认证用户名；  生成请求日期和时间；  客户端发送URL请求字符串；  服务器发回客户端http状态码；  服务器传送客户端文件大小（bytes）。 组合日志文件字段 组合日志文件字段包括：  远程主机名或用户IP地址；  用户远程登录名；  已认证用户名；  生成请求日期和时间；  客户端发送URL请求字符串；  服务器发回客户端http状态码；  服务器传送客户端文件大小（bytes）；  客户端引用站点的URL；  客户端浏览器或用户代理标识信息。 方法 日志分析包括以下方法：  使用LIKE运算符执行与已知攻击向量相关的关键字和术语的模糊搜索。这些已知攻击向量包括注入攻击、目录和路径遍历入侵、缓存中毒、文件包含或执行漏洞，以及拒绝服务攻击。  生成Web日志变量的时间聚合用于趋势统计，例如主机活动、请求、状态码、文件大小和代理等。  排序、过滤和组合数据以识别潜在的问题源。  创建适用于R语言和Mahout软件的分析数据集，以便进一步分析。 运行示例所需附加数据和软件 我们已经在本书的补充材料网站上列出运行此分析所需的所有数据。这些数据由Apache和组合格式服务器日志文件组成。 文件1到文件6是来自Amazon的案例集。然而由于这些文件中没有已知或明显易于发现的安全漏洞，所以我们将附加文件添加到此集合中，这些附加文件包括了典型的已知安全漏洞事件日志记录的案例。这个附加文件名为“access_log_7”。其中一些案例是通过搜索互联网资源得到。另外有几个来自一些实际Web取证工作中的小部分案例（Talabis，2013）。出于安全和隐私的原因，这些日志记录中删除了机密信息和个人标识信息。 类似SQL的Hive分析 由于熟悉SQL语法的分析人员数量众多，同时Hive拥有灵活的内置函数和运算符，因而大部分案例都会使用Hive来实现。此外，由于存在如此多的潜在攻击向量以及不断创造出的新攻击向量，安全分析人员需要工具来完成特别定制的分析。如Hive和HiveQL这样SQL类型的工具就非常符合这类需求。 加载数据 前几个基本步骤包括： 启动Hive，设置数据，创建主表并加载。分析步骤会是较有趣的部分，然而我们首先必须处理数据设置。 将日志文件放入与你正运行的虚拟机共享的文件夹中。也可以将它们放入Amazon AWS环境的本地目录中。以下所有示例都是在我自己计算机中的Cloudera虚拟机上演示的。文件应被加载到一个名为ApacheLogData的文件夹中。接下来我们返回上一层名为Project1的文件夹，并从我们的Bash shell命令行中输入hive以启动Hive程序。