Web安全之深度学习实战

在现今的互联网公司中产品线绵延复杂，安全防御体系无时无刻不在应对新的挑战。哪怕是拥有丰富工作经验的安全从业者，在面对层出不穷的攻击手段和海量日志数据时也会望洋兴叹。深度学习在数据量以指数级不断增长的未来有可能是唯壹的出路。本书首先介绍如何打造自己的深度学习工具箱，包括TensorFlow、TFLearn等深度学习库的安装以及使用方法。接着介绍卷积神经网络和循环神经网络这两大深度学习算法的基础知识。特别着重介绍在生产环境搭建深度学习平台需要使用的开源组件，包括Logstash、Kafka、Storm、Spark等。随后讲解了使用机器学习技术解决实际安全问题的案例，本书针对每一个算法都给出了具体案例，理论结合实际，讲解清晰，文笔幽默，适合有信息安全基础知识的网络开发与运维技术人员参考。

刘焱，百度安全Web防护产品线负责人，负责百度安全的Web安全产品，包括防DDoS、Web应用防火墙、Web威胁感知、服务器安全以及安全数据分析等，具有近十年云安全及企业安全从业经历，全程参与了百度企业安全建设。研究兴趣包括机器学习、Web安全、僵尸网络、威胁情报等。他是FreeBuf专栏作家、i春秋知名讲师，多次在OWASP 、电子学会年会等发表演讲，参与编写了《大数据安全标准白皮书》。他还建立了微信公众号：“兜哥带你学安全”，发布了大量信息安全技术知识。

对本书的赞誉
序
前言
第1章打造深度学习工具箱1
1.1TensorFlow1
1.1.1安装1
1.1.2使用举例3
1.2TFLearn3
1.3PaddlePaddle4
1.3.1安装5
1.3.2使用举例6
1.4Karas7
1.5本章小结9
第2章卷积神经网络10
2.1传统的图像分类算法10
2.2基于CNN的图像分类算法11
2.2.1局部连接11
2.2.2参数共享13
2.2.3池化15
2.2.4典型的CNN结构及实现16
2.2.5AlexNet的结构及实现19
2.2.6VGG的结构及实现24
2.3基于CNN的文本处理29
2.3.1典型的CNN结构30
2.3.2典型的CNN代码实现30
2.4本章小结32
第3章循环神经网络33
3.1循环神经算法概述34
3.2单向循环神经网络结构与实现36
3.3双向循环神经网络结构与实现38
3.4循环神经网络在序列分类的应用41
3.5循环神经网络在序列生成的应用42
3.6循环神经网络在序列标记的应用43
3.7循环神经网络在序列翻译的应用44
3.8本章小结46
第4章基于OpenSOC的机器学习框架47
4.1OpenSOC框架47
4.2数据源系统48
4.3数据收集层53
4.4消息系统层57
4.5实时处理层60
4.6存储层62
4.6.1HDFS62
4.6.2HBase64
4.6.3Elasticsearch65
4.7分析处理层66
4.8计算系统67
4.9实战演练72
4.10本章小结77
第5章验证码识别78
5.1数据集79
5.2特征提取80
5.3模型训练与验证81
5.3.1K近邻算法81
5.3.2支持向量机算法81
5.3.3深度学习算法之MLP82
5.3.4深度学习算法之CNN83
5.4本章小结87
第6章垃圾邮件识别88
6.1数据集89
6.2特征提取90
6.2.1词袋模型90
6.2.2TF-IDF模型93
6.2.3词汇表模型95
6.3模型训练与验证97
6.3.1朴素贝叶斯算法97
6.3.2支持向量机算法100
6.3.3深度学习算法之MLP101
6.3.4深度学习算法之CNN102
6.3.5深度学习算法之RNN106
6.4本章小结108
第7章负面评论识别109
7.1数据集110
7.2特征提取112
7.2.1词袋和TF-IDF模型112
7.2.2词汇表模型114
7.2.3Word2Vec模型和Doc2Vec模型115
7.3模型训练与验证119
7.3.1朴素贝叶斯算法119
7.3.2支持向量机算法122
7.3.3深度学习算法之MLP123
7.3.4深度学习算法之CNN124
7.4本章小结127
第8章骚扰短信识别128
8.1数据集129
8.2特征提取130
8.2.1词袋和TF-IDF模型130
8.2.2词汇表模型131
8.2.3Word2Vec模型和Doc2Vec模型132
8.3模型训练与验证134
8.3.1朴素贝叶斯算法134
8.3.2支持向量机算法136
8.3.3XGBoost算法137
8.3.4深度学习算法之MLP140
8.4本章小结141
第9章Linux后门检测142
9.1数据集142
9.2特征提取144
9.3模型训练与验证145
9.3.1朴素贝叶斯算法145
9.3.2XGBoost算法146
9.3.3深度学习算法之多层感知机148
9.4本章小结149
第10章用户行为分析与恶意行为检测150
10.1数据集151
10.2特征提取152
10.2.1词袋和TF-IDF模型152
10.2.2词袋和N-Gram模型154
10.2.3词汇表模型155
10.3模型训练与验证156
10.3.1朴素贝叶斯算法156
10.3.2XGBoost算法157
10.3.3隐式马尔可夫算法159
10.3.4深度学习算法之MLP164
10.4本章小结166
第11章WebShell检测167
11.1数据集168
11.1.1WordPress168
11.1.2PHPCMS170
11.1.3phpMyAdmin170
11.1.4Smarty171
11.1.5Yii171
11.2特征提取172
11.2.1词袋和TF-IDF模型172
11.2.2opcode和N-Gram模型174
11.2.3opcode调用序列模型180
11.3模型训练与验证181
11.3.1朴素贝叶斯算法181
11.3.2深度学习算法之MLP182
11.3.3深度学习算法之CNN184
11.4本章小结188
第12章智能扫描器189
12.1自动生成XSS攻击载荷190
12.1.1数据集190
12.1.2特征提取194
12.1.3模型训练与验证195
12.2自动识别登录界面198
12.2.1数据集198
12.2.2特征提取199
12.2.3模型训练与验证201
12.3本章小结203
第13章DGA域名识别204
13.1数据集206
13.2特征提取207
13.2.1N-Gram模型207
13.2.2统计特征模型208
13.2.3字符序列模型210
13.3模型训练与验证210
13.3.1朴素贝叶斯算法210
13.3.2XGBoost算法212
13.3.3深度学习算法之多层感知机215
13.3.4深度学习算法之RNN218
13.4本章小结221
第14章恶意程序分类识别222
14.1数据集223
14.2特征提取226
14.3模型训练与验证228
14.3.1支持向量机算法228
14.3.2XGBoost算法229
14.3.3深度学习算法之多层感知机230
14.4本章小结231
第15章反信用卡欺诈232
15.1数据集232
15.2特征提取234
15.2.1标准化234
15.2.2标准化和降采样234
15.2.3标准化和过采样236
15.3模型训练与验证239
15.3.1朴素贝叶斯算法239
15.3.2XGBoost算法243
15.3.3深度学习算法之多层感知机247
15.4本章小结

PREFACE前    言网络安全一直和AI相伴相生，从网络安全诞生的那一天起，人们就一直试图使用自动化的方式去解决安全问题。网络安全专家一直试图把自己对网络威胁的理解转换成机器可以理解的方式，比如黑白名单、正则表达式，然后利用机器强大的计算能力，夜以继日地从流量、日志、文件中寻找似曾相识的各类威胁。似乎这一切就是那么天经地义并无懈可击。但事情似乎又没有那么简单，机器其实并没有完全学到人的经验，网络安全专家一眼就可以识破的变形，对于机器却难以理解；更可怕的是，恶意程序数量呈指数级增长，各类新型攻击方式层出不穷，0day的出现早已超过一线明星出现在新闻头条的频率，依靠极其有限的网络专家总结的经验和几个安全厂商所谓的样本交换，已经难以应付现在的网络安全威胁。如果安全专家一眼就可以识破的威胁，机器也能够自动化发现甚至做出相应的响应，这已经是很大的进步；如果让机器可以像阿尔法狗理解围棋一样理解网络威胁，那将是巨大进步。事情又回到最初的那个问题，如何能让机器可以真正学会识别安全威胁？机器学习可能是一个不错的答案。    本书面向信息安全从业人员、大专院校计算机相关专业学生以及信息安全爱好者、机器学习爱好者，对于想了解人工智能的CTO、运维总监、架构师同样也是一本不错的科普书籍。如果读者看完本书，在工作学习中遇到问题时可以想起一到两种算法，那么我觉得就达到效果了；如果读者读完本书，可以像使用printf一样使用SVM、朴素贝叶斯等算法，那么这本书就相当成功了。    我写本书的初衷是帮助信息安全从业者了解机器学习，可以动手使用简单的机器学习算法解决实际问题。在写作中尽量避免生硬的说教，能用文字描述的尽量不用冷冰冰的公式，能用图和代码说明的尽量不用多余的文字。正如霍金所言“多写1个公式，少一半读者”，希望反之亦然。    机器学习应用于安全领域遇到的最大问题就是缺乏大量的黑样本，即所谓的攻击样本，尤其相对于大量的正常业务访问，攻击行为尤其是成功的攻击行为是非常少的，这就给机器学习带来了很大挑战。本书很少对不同算法进行横向比较，也是因为在不同场景下不同算法的确表现差别很大，很难说深度学习就一定比朴素贝叶斯好，也很难说支持向量机就比不过卷积神经网络，拿某个具体场景进行横评意义不大，毕竟选择算法不像购买SUV，可以拿几十个参数评头论足，最后还是需要大家结合实际问题去选择。    本书的第1章主要介绍了如何打造自己的深度学习工具箱，介绍了本书使用的TensorFlow、TFLearn等深度学习库的安装以及使用方法。第2章和第3章介绍了卷积神经网络和循环神经网络这两大深度学习算法的基础知识。第4章介绍在生产环境搭建机器学习平台需要使用的开源组件，包括Logstash、Kafka、Storm、Spark等，并且介绍了GPU和TPU的基础知识。第5章到第15章，介绍了11个使用机器学习技术解决实际安全问题的案例，包括验证码识别、垃圾邮件识别、负面评论识别、骚扰短信识别、Linux后门检测、用户行为分析与恶意行为检测、WebShell检测、智能扫描器、DGA域名检测、恶意程序分类识别、反信用卡欺诈，每个案例都使用互联网公开的数据集并配有基于Python的代码，代码和数据集可以在本书配套的GitHub下载。    本书是我所著机器学习三部曲的第二部，第一部主要以机器学习常见算法为主线，利用生活中的例子和具体安全场景来介绍机器学习常见算法，是机器学习入门书籍，便于读者可以快速上手。全部代码都能在普通PC上运行。本书将重点介绍深度学习，并以具体的11个案例介绍机器学习的应用，定位是面向具有一定机器学习基础或者致力于使用机器学习解决工作中问题的读者，本书将重点放在问题的解决而不是算法的介绍。由于深度学习通常计算量已经超过了PC的能力，部分代码需要在服务器甚至GPU上运行，不过这不影响大家的阅读与学习。第三部将重点介绍强化学习和对抗网络，并利用若干虚构安全产品或者项目来介绍如何让机器真正具备阿尔法狗级别的智能。遗憾的是，深度学习的优势发挥需要大量精准标注的训练样本，但是由于各种各样的原因，我只能在书中使用互联网上已经公开的数据集，这些数据量级往往很难发挥深度学习的优势，对于真正想在生产环境中验证想法的读者需要搜集更多样本。    致谢这里我要感谢我的家人对我的支持，本来工作就很忙，没有太多时间处理家务，写书更是花费了我大量的休息时间，我的妻子无条件承担起了全部家务，尤其是照料孩子等繁杂事务。我很感谢我的女儿，写书这段时间几乎没有时间陪她玩，她很懂事地自己玩，我想用这本书作为她的生日礼物送给她。我还要感谢吴怡编辑对我的支持和鼓励，让我可以坚持把这本书写完。最后还要感谢各位业内好友尤其是我boss对我的支持，排名不分先后：马杰@百度安全、冯景辉@百度安全、Tony@京东安全、程岩@京东安全、简单@京东安全、林晓东@百度基础架构、黄颖@百度IT、李振宇@百度AI、Lenx@百度安全、黄正@百度安全、郝轶@百度云、云鹏@百度无人车、阿