数据驱动安全

本书由世界顶级安全专家亲笔撰写，深入剖析了安全领域中的数据分析及可视化方法，包含大量真实案例和数据。从安全数据收集、整理、分析、可视化过程，详细讲解如何设计有效的安全数据可视化，并走向数据驱动的安全研究。主要内容包括：第1章展示信息安全领域数据分析与可视化的基础知识，以及安全数据科学工作者需要掌握的技能概览。第2、3、4章分别介绍一些安全数据科学工作者需要掌握的软件工具、技术知识、使用技巧，涉及Python语言、R语言为主的实用分析方法。第5章介绍创建图表的技术以及一些核心的统计学概念。第6章讲解数据可视化的基础知识，以及有效展示的技巧。第7章介绍如何对安全漏洞进行分析和可视化，包含大量安全事件的真实数据。第8章涵盖现代数据库的概念，包含在传统数据库基础上新增的数据展示技巧以及NoSQL解决方案。第9章将带你进入机器学习领域，包括机器学习的核心概念，探索机器学习实现技术等。第10章及第11章介绍创建有效的可视化产品技巧，以及如何让这些信息展示得更加丰富有形。在第12章呈现如何将所学的知识应用到实际的安全环境中。

Jay Jacobs在IT以及信息安全领域拥有超过15年的经验，主要致力于密码学、风险学以及数据分析方面的研究。作为Versizon RISK团队的一名高级数据分析师，他参与编纂年度《Data Breach Investigation Report》，并投入大量精力进行安全相关数据的分析与可视化。Jay也是Society of Information Risk Analysts的创立人之一，现在是该组织董事会的成员。他是一名活跃的博客纂稿人与演讲者，他还是Risk Science播客的主持人并且曾经是2014Metricon安全指标/分析大会的联席主席。
Bob Rudis拥有超过20年的利用数据来帮助维护全球财富100强企业的经验。作为Liberty Mutual Insurance的企业信息安全及IT风险管理部门的主管，他负责协调与管理Advanced Cyber Security Center的多部门大范围安全分析计划。Bob是一名高级推特撰写人、活跃的博主、作家、演讲者以及开源社区的投稿人。他当前正任职于Society of Information Risk Analysts（SIRA）的董事会，是SANS Securing The Human方案的编委，同时，还是2014年Metricon安全指标/分析会议的联合主席。他拥有斯克兰顿大学的学士学位。

译者序
前言
作者介绍
第1章 通向数据驱动安全的旅程 1
1.1 数据分析简史 2
1.1.1 19世纪的数据分析 2
1.1.2 20世纪的数据分析 3
1.1.3 21世纪的数据分析 4
1.2 获取数据分析技能 5
1.2.1 领域专业知识 6
1.2.2 编程技能 8
1.2.3 数据管理 11
1.2.4 统计学 12
1.2.5 可视化 14
1.2.6 将这些技能组合起来 16
1.3 以问题为中心 16
1.3.1 创建一个好的研究问题 17
1.3.2 探索性数据分析 18
1.4 本章小结 19
推荐阅读 19
第2章 打造自己的分析工具箱 20
2.1 为什么选Python？为什么选R？为什么两者都要？ 21
2.2 用Canopy快速开始Python分析 23
2.2.1 理解Python数据分析和
可视化生态系统 24
2.2.2 设置R语言环境 27
2.3 数据帧介绍 30
2.4 组织结构 33
2.5 本章小结 34
推荐阅读 35
第3章 学习安全数据分析的“Hello World” 36
3.1 解决一个问题 37
3.2 获取数据 37
3.3 读入数据 40
3.4 探索数据 43
3.5 回到具体问题 54
3.6 本章小结 64
推荐阅读 65
第4章 进行探索性的安全数据分析 66
4.1 IP地址的剖析 67
4.1.1 IP地址的表示 67
4.1.2 IP地址的分段和分组 69
4.1.3 定位IP地址 71
4.2 IP地址数据的扩充 74
4.3 跨区域绘图 83
4.3.1 宙斯僵尸网络的可视化 85
4.3.2 防火墙数据的可视化 91
4.4 本章小结 93
推荐阅读 94
第5章 从地图到回归分析 95
5.1 简化地图 96
5.1.1 每个国家的ZeroAccess木马感染量是多少 99
5.1.2 改变数据范围 102
5.1.3 Potwin效应 104
5.1.4 结果奇怪吗？ 107
5.1.5 郡计数 111
5.1.6 郡级 112
5.2 线性回归介绍 115
5.2.1 回归分析中的常见陷阱 120
5.2.2 ZeroAccess木马感染的回归分析 121
5.3 本章小结 125
推荐阅读 125
第6章 将安全数据可视化 126
6.1 为什么要可视化 127
6.2 理解视觉交流的组件 133
6.2.1 避免第三维 133
6.2.2 使用颜色 135
6.2.3 拼在一起 137
6.2.4 描述分布信息 143
6.2.5 可视化时间序列 146
6.2.6 亲自实践 147
6.3 将数据变成电影明星 147
6.4 本章小结 148
推荐阅读 148
第7章 从安全失陷中进行学习 150
7.1 建立研究项目 151
7.2 数据收集框架的思考 152
7.2.1 瞄准目标答案 152
7.2.2 限制可能的答案 153
7.2.3 允许“其他”和“未知”选项 153
7.2.4 避免混淆并且合并细节 154
7.3 VERIS概述 155
7.3.1 事件追踪 156
7.3.2 威胁角色 157
7.3.3 威胁行为 158
7.3.4 信息资产 160
7.3.5 属性 162
7.3.6 发现/响应 163
7.3.7 影响 164
7.3.8 受害者 164
7.3.9 指标 166
7.3.10 用附加扩展VERIS 166
7.4 从行为中看VERIS 166
7.5 使用VCDB数据 168
7.6 本章小结 175
推荐阅读 176
第8章 离开关系数据库 177
8.1 实现有约束的存储器 180
8.1.1 架构方面的约束 181
8.1.2 存储方面的约束 183
8.1.3 RAM方面的约束 184
8.1.4 数据方面的约束 185
8.2 探索替代性的数据库 185
8.2.1 BerkeleyDB 186
8.2.2 Redis 188
8.2.3 HIVE 192
8.2.4 MongoDB 194
8.2.5 特殊目的的数据库 199
8.3 本章小结 200
推荐阅读 200
第9章 解密机器学习 201
9.1 检测恶意软件 202
9.1.1 开发机器学习算法 204
9.1.2 验证算法 205
9.1.3 实现机器学习算法 206
9.2 从机器学习中获益 209
9.2.1 用机器学习回答问题 210
9.2.2 评测良好的性能 211
9.2.3 选择特征 211
9.2.4 验证你的模型 213
9.3 具体的机器学习方法 213
9.3.1 有监督学习方法 214
9.3.2 无监督学习方法 217
9.4 实验：攻击数据聚类 218
9.4.1 受害行业的多维尺度分析 220
9.4.2 受害行业的层次聚类分析 222
9.5 本章小结 225
推荐阅读 225
第10章 设计有效的安全仪表盘 226
10.1 什么是仪表盘 226
10.1.1 仪表盘不是汽车 227
10.1.2 仪表盘不是报告 229
10.1.3 仪表盘不是搬运车 231
10.1.4 仪表盘不是艺术展 233
10.2 通过仪表盘表达及管理“安全” 237
10.2.1 帮负责人一个忙 237
10.2.2 提升仪表盘的意识 239
10.2.3 难题在细节中 241
10.2.4 突出“安全” 243
10.3 本章小结 245
推荐阅读 245
第11章 交互式安全可视化 247
11.1 从静态到交互式 248
11.1.1 用于增强的交互 248
11.1.2 用于探索的交互 251
11.1.3 用于启发的交互 254
11.2 开发交互式可视化 259
11.2.1 使用Tableau创建交互式仪表盘 259
11.2.2 使用D3创建基于浏览器的可视化 261
11.3 本章小结 271
推荐阅读 271
第12章 走向数据驱动的安全 273
12.1 让自己走向数据驱动的安全 273
12.1.1 黑客 274
12.1.2 统计学 277
12.1.3 安全领域专家 278
12.1.4 危险区域 278
12.2 带领团队走向数据驱动的安全研究 279
12.2.1 对具有客观答案的事情提问 279
12.2.2 查找并收集相关数据 280
12.2.3 从迭代中学习 280
12.2.4 寻找统计人才 281
12.3 本章小结 283
推荐阅读 283
附录A 资料及工具 284
附录B 参考资源 287

Introduction  前言旅行很危险，弗罗多。一旦你出了门上了路，如果不专心看路，谁知道你会被带到哪里去。 —比尔博·巴金斯，《指环王》近几年，网络安全在全球范围内成为了大众和专业领域的核心关注点。数据外泄的情况每天都在发生，聪明的对手把目标直指消费者、商业公司、政府，他们技巧熟练而且不怕被发现或者无视将会出现的后果。这些事件有它发生的背景，现今包含商业和关键基础设施的主干网的系统网络和应用，变得越来越复杂，臃肿得难以掌控。 凭借肉眼观察的直觉和所谓“最佳”实践的安全防护措施已经不足以保护我们。安全“巫师”的时代已经过去，采用成熟的工具和技术、进入革命性的数据驱动安全的时代已经到来。 本书综述以及技术要点本书的目的是带你遨游安全数据科学的世界。让我们先看一眼图1所展示的用本书每一章的关键词构成的这块云。这朵云涉及大量的信息，通过这朵云你或许可以从繁杂的信息中挑选出少量的有用信息，然而，这就像不用磁铁在一个大草垛中找出一颗钉子。 图  1图  2如果正确地使用了合适的分析工具，你将能区分出图中最重要的内容（见图2）。 本书不仅专注于用Python和R语言作为基础的数据分析工具，同时介绍了如何设计和创建现代风格的静态可视化以及使用HTML5、CSS和JavaScript的交互式可视化工作，还提供了相应的知识背景和现代NoSQL数据库的安全用例。 本书是如何组织的本书的组织，不像令人狼吞虎咽的自助餐，却有点儿像各有特色的精致点心：每章都有不同的组织脉络。恰如“点心”一词的含义，每章包含安全数据科学中的一个基本主题，并且提供了大量的值得深入学习研究的知识点。 第1章展示了此次学习之旅的基础知识点，提供了一些数据驱动实践与其他学科的交叉实例，同时描绘了安全数据科学工作者需要掌握的技能的总体概览。 第2、3、4章分别涉及一些软件工具、技术知识、使用技巧，这些是每一个安全数据科学工作者都应该掌握的。你将接触到AlienVault的IP信誉库（是能公开获取的最全面的恶意节点资源之一）以及对ZeuS和ZeroAccess僵尸网络产生一个宏观的认识。我们在第2、3章介绍Python用于分析的一面，本书的其他部分将以R语言为主进行统计分析。与其他传统的有关R语言的介绍（或者一般统计类著作）不同，我们将用安全领域中的数据贯穿全书，以此来帮助信息安全专业人员建立起尽可能实用的技术概念。 第5章介绍一些创建图表的技术以及一些核心的统计学概念，同时为安全数据领域的门外汉提供了一两小节的入门知识。 第6章深入到有关可视化展示（数据可视化）的一些基础性生物学知识和认知科学知识，甚至向你展示如何让数据活灵活现起来。 第7章提供如何分析和可视化安全漏洞的基础知识，在本章，你将有机会接触到安全事件的真实数据。 第8章涵盖现代数据库的概念，包含传统数据库部署的新技巧，还有一系列NoSQL解决方案以及工具。本章将有助于回答“我们在自己的网络上看到这个IP了吗？”这样的问题。 第9章将带你进入到令人激动而又真实的机器学习领域。你将学到一些机器学习的核心概念，探索机器学习的实现技术，以及如何通过算法找到一些靠直觉无法发现的数据。 第10章及第11章会提供一些实用的建议和技巧来创建有效的可视化产品，让该产品能与你的客户有效沟通甚至（极有可能）打动他们。你可以使用很多工具，从Excel到艺术工具和库，并且能够将你所学应用于安全领域之外。可视化技术通过给安全仪表盘（可能多数的读者对此比较熟悉）进行改头换面，让这些信息展示得更加丰富有形。 最后，在第12章，我们将为你呈现如何将所学的知识应用到实际环境，包括个人层面以及企业层面的应用环境。 谁应该读这本书我们写这本书是因为我们全身心投入到数据领域中工作，并相信如果我们能够花费时间去理解如何提出正确的问题，做出准确和可重复的数据分析，使用令人信服的方法去关联结果，我们就能为推进和提高网络安全做出富有成效的贡献。 如果读者有安全领域的经验，以及掌握基本的代码和脚本编写技能，就能从本书大大受益。熟悉Python的读者可以跳过第2章的相关介绍以及快速略过第3章的大部分内容。我们重点介绍和关注R语言，它在现代数据分析领域是门出色的语言，你可以通过书里列举的R语言相关例子和代码来提高自己的水平。假如你是一个编程菜鸟，第2、3、4章能给你非常大的帮助。 我们重视统计学以及机器学习的知识，因此在许多章节里都有涉及，我们不建议读者跳过此部分内容。然而你可以在读完本书前忽略第9章（主要讨论机器学习），它不会影响你阅读的连贯性。 如果你熟悉数据库，你只需看一下第8章的用例，便可在安全领域尝试使用现代特殊的数据库进行操作。 不像许多讨论仪表盘的书，第10章需要掌握的仅仅是Microsoft Excel或者Openoffice Cal，对于在组织中使用的工具和限制我们不做任何假设。如果你对构建交互的可视化工具没有需求，第11章的内容可以作为今后的延展阅读。 简单地说，我们的书不仅面向信息技术人员、信息安全专家、学生、咨询顾问，任何人只要有兴趣探索如何分析数据，使之更好地能被人理解，来确保网络安全，都能从本书中找到答案。 工具列表下列工具如果是用于练习，均是免费的： R语言项目：（http://www.r-project.org/），大部分示例用R语言开发，包含了许多社区的开发包，比如ggplot2。 RStudio：（http://www.rstudio.com/），能帮助你快速掌握并运行示例代码的R语言开发套件。 Python：（http://www.python.org/），包含了一些例子，以及很多重要的包，如pandas（http://pandas.pydata.org/），使之成为一个强力的开发平台。 Sublime Text（http://www.sublimetext.com/），这是另外一款强大的文本编辑器，对于处理HTML、CSS、JavaScript的代码尤其方便。 D3.js（http://d3js.org），参照它并快速翻阅第11章开头部分，能帮助你提高对此章节示例的掌握速度。 Git（http://git-scm.com/），你需要安装它去获取本书中提到的许多数据，所以现在就安装它，以节省时间。 MongoDB（http://www.mongodb.org/），MongoDB在第8章中使用，所以请先提前做好准备。 Redis（http://redis.io/），这也是第8章某些示例所需的。 Tableau Public（http://www.tableausoftware.com/），如果你想对第11章的调查数据做更多工作，这个软件是个不错的选择。 此外本书所有的代码、示例、原始数据均可从本书合作网站（http://www.wiley.com/go/datadrivensercurity）获取。 我们建议你使用Linux或Mac OS，但是所有的示例均能在主流的Windows上运行。 相关网络资源如上述所说，你可以从本书合作网站（http://www.wiley.com/go/datadrivensercurity）获取所有源代码、示例中使用的数据文件，以及相关的帮助文档（比如Microsoft Excel文档）。 开启本书之旅你已经大体了解了本书的构成，我们希望本书能带给你新的视野和发现，并且通过对书中原理的掌握，使你有信心提高自己对于安全的视角。 致谢虽然本书封面上只有我们的姓名，但是本书代表了很多人做的大量的工作。首先要给我们的技术编辑Russell Thomas十二分的感谢，他对细节的一丝不苟的态度，让我们避免了一些令人尴尬的错误，让本书变得更好。感谢Symantec公司、AlienVault公司、Stephen Patton 和 David Severski，感谢他们为本项目做的准备工作以及共享的数据。感谢Wade Baker的激情，感谢Chris Porter的接洽，感谢Verizon的RISK团队的工作以及他们在VERIS对社区做出的贡献。感谢在Wiley遇到的好心人们，特别是Carol Long、Kevin Kent和Kezia Endsley，他们帮助打造了这本书，并且鼓励我们，让我们的工作不断推进。 同时也感谢那些回复邮件、讨论思路以及提供反馈的人们。最后，感谢那些围绕R语言、Python、数据可视化、数据安全的富有活力的社区，希望我们能够继续让这些社区之间加强交流、逐渐融合。 Jay Jacobs首先要感谢我的父母。父亲对学习的热诚和去尝试任何事情的自信心极大地感染了我，母亲则给了我坚定不移的支持，甚至当我盲目探索时也是如此，感谢母亲给我提供了良好的生长学习环境。我也想感谢我的妻子Ally，她既是我最好的朋友、最严格的批评家，也是最忠实的粉丝。如果没有她的爱和支持鼓励，这个任务是不可能完成的。最后，感谢孩子们的耐心等待，现在我有时间和你们玩那个游戏了。 Bob Rudis感谢我可爱的妻子Mary和三个在家的孩子Victoria、Jarrod和lan。很多的周末时光，我都没有陪伴在他们身边，如果没有他们对我的爱、支持和巨大的耐心，这本书是不可能完成的。 感谢Alexandre Pinto、Thomas Nudd和Bill Pelletier，感谢你们恰逢其时的（也许你们自己没有意识到）充满鼓励和热情的消息。特别要感谢一些开源社区、可再生研究和开放数据运动，他们在幕后提供了本书用到的大多数工具、实践。同时也感谢Josh Corman为本书起了出色的书名。 最后，以一个菜谱向朋友们表示感谢。 炸玉棋拌青酱（Pan Fried Gnocchi with Basil Pesto）： 2杯（约250ml）新鲜马赛罗勒（basil）1/2杯罗马新鲜干酪1/2 杯 + 2汤匙特级初榨橄榄油1/4杯松仁4瓣大蒜喜马拉雅海盐，胡椒粉若干1磅玉棋（新鲜或真空密封的，如果是新鲜的玉棋应该略干）打碎搅拌（按序添加）：松仁、大蒜、罗勒、奶酪，缓缓向拌匀的原料中倒入1/2杯橄榄油并持续搅拌直至呈糊状，再按口味添加些许盐和胡椒粉。之后放置在一边作为青酱。 使用厚底锅并开大火加热，倒入剩余橄榄油。油热后加入玉棋，不要使玉棋在锅中挤在一起或相互叠压。约3至4分钟，待玉棋的一面变为棕色并有些卷曲后将其翻转至另一面待2至3分钟后盛出，拌上青酱，加上saba鱼丝，就可以端上桌了。这些量足够3至4人食用。