开源安全运维平台

在传统的异构网络环境中，运维人员往往利用各种复杂的监管工具来管理网络，由于缺乏一种集成安全运维平台，当遇到故障时总是处于被动“救火”状态，如何将资产管理、流量监控、漏洞管理、入侵监测、合规管理等重要环节，通过开源软件集成到统一的平台中，以实现安全事件关联分析，可从本书介绍的OSSIM平台中找到答案。本书借助作者在OSSIM领域长达10年开发应用实践经验之上，以大量生动实例阐述了基于插件收集日志并实现标准化，安全事件规范化分类，关联分析的精髓，书中为读者展示的所有知识和实例均来自大型企业中复杂的生产环境，并针对各种难题给出解决方案。

全书共分三篇，10章：靠前篇（靠前~2章）主要介绍OSSIM架构与工作原理、系统规划、实施关键要素和过滤分析SIEM事件的要领。第二篇（第3~6章）主要介绍OSSIM所涉及的几个后台数据库，重点强调安全事件分类聚合、提取流程、关联分析算法、Snort规则分析等技巧。第三篇（第7~10章）主要介绍日志收集方法和标准化实现思路以及在OSSIM中用HIDS/NIDS、NetFlow抓包分析异常流量的方法，深入分析了OpenVAS架构和脚本分析方法。

本书可以作为开源安全技术研究人员、网络安全管理人员以及高校计算机专业师生学习参考使用。

李晨光，毕业于中国科学院研究生院，就职于中国中铁，资历网络架构师、IBM精英讲师、Linux系统安全专家。现任中国计算机学会（CCF）不错会员、会员代表，5ICTO和TT专家网特邀专家。

第一篇基础篇
第1章OSSIM架构与原理3
1.1OSSIM概况3
1.1.1从SIM到OSSIM4
1.1.2安全信息和事件管理（SIEM）5
1.1.3OSSIM的前世今生6
1.2OSSIM架构与组成13
1.2.1主要模块的关系14
1.2.2安全插件（Plugins）15
1.2.3采集与监控插件的区别17
1.2.4检测器（Detector）20
1.2.5代理（Agent）20
1.2.6报警格式的解码21
1.2.7OSSIMAgent22
1.2.8代理与插件的区别26
1.2.9传感器（Sensor）26
1.2.10关联引擎28
1.2.11数据库（Database）30
1.2.12Web框架（Framework）31
1.2.13Ajax创建交互32
1.2.14归一化处理32
1.2.15标准的安全事件格式33
1.2.16OSSIM服务端口37
1.3基于插件的日志采集39
1.3.1安全事件分类39
1.3.2采集思路39
1.4Agent事件类型44
1.4.1普通日志举例45
1.4.2plugin_id一对多关系45
1.4.3MAC事件日志举例47
1.4.4操作系统事件日志举例47
1.4.5系统服务事件日志举例47
1.5RRDTool绘图引擎48
1.5.1背景49
1.5.2RRDTool与关系数据库的不同49
1.5.3RRD绘图流程49
1.6OSSIM工作流程50
1.7缓存与消息队列50
1.7.1缓存系统50
1.7.2消息队列处理51
1.7.3RabbitMQ53
1.7.4选择Key／Value存储54
1.7.5OSSIM下操作Redis54
1.7.6RedisServer配置详解57
1.7.7RabbitMQ、Redis与Memcached监控58
1.8OSSIM高可用架构60
1.8.1OSSIM高可用实现技术60
1.8.2安装环境62
1.8.3配置本地主机62
1.8.4配置远程主机62
1.8.5同步数据库63
1.8.6同步本地文件63
1.9OSSIM防火墙64
1.9.1理解Filter机制64
1.9.2规则匹配过程66
1.9.3iptables规则库管理67
1.10OSSIM的计划任务68
1.10.1Linux计划任务68
1.10.2OSSIM中的计划任务70
1.11小结72
第2章OSSIM部署与安装73
2.1OSSIM安装策略73
2.1.1未授权行为74
2.1.2传感器位置75
2.2分布式OSSIM体系75
2.2.1特别应用76
2.2.2多IDS系统应用76
2.3安装前的准备工作77
2.3.1软硬件配备77
2.3.2传感器部署78
2.3.3分布式OSSIM系统探针布局80
2.3.4OSSIM服务器的选择81
2.3.5网卡的选择82
2.3.6手动加载网卡驱动83
2.3.7采用多核还是单核CPU83
2.3.8查找硬件信息84
2.3.9OSSIMUSM和Sensor安装模式的区别84
2.3.10OSSIM商业版和免费版比较86
2.3.11OSSIM实施特点87
2.3.12OSSIM管理员分工88
2.4混合服务器／传感器安装模式88
2.4.1安装前的准备工作88
2.4.2开始安装OSSIM89
2.4.3遗忘WebUI登录密码的处理方法92
2.5初始化系统92
2.5.1设置初始页面93
2.5.2OTX——情报交换系统100
2.6VMwareESXi下安装OSSIM注意事项103
2.6.1设置方法103
2.6.2虚拟机下无法找到磁盘的对策104
2.7OSSIM分布式安装实践104
2.7.1基于OpenSSL的安全认证中心105
2.7.2安装步骤105
2.7.3分布式部署（VPN连接）举例106
2.7.4安装多台OSSIM（Sensor）108
2.7.5Sensor重装流程114
2.8添加VPN连接114
2.8.1需求114
2.8.2Server端配置（10.0.0.30）114
2.8.3配置Sensor（10.0.0.31）115
2.9安装最后阶段116
2.10OSSIM安装后续工作117
2.10.1时间同步问题117
2.10.2系统升级118
2.10.3apt—get常见操作121
2.10.4扫描资产122
2.10.5通过代理升级系统122
2.10.6防火墙设置124
2.10.7让控制台支持高分辨率124
2.10.8手动修改服务器IP地址125
2.10.9修改系统网关和DNS地址125
2.10.10更改默认网络接口125
2.10.11消除登录菜单126
2.10.12进入OSSIM单用户模式126
2.10.13定制系统启动界面126
2.11OSSIM启动与停止127
2.12安装远程管理工具129
2.12.1安装Webmin管理工具129
2.12.2安装phpMyAdmin130
2.12.3用phpMyAdmin同步功能迁移数据库132
2.13分布式系统查看传感器状态132
2.13.1设置指示器132
2.13.2注意事项134
2.14安装桌面环境135
2.14.1安装GNOME环境135
2.14.2安装FVWM环境135
2.14.3安装虚拟机139
2.15自动化配置管理工具Ansible141
2.15.1SSH的核心作用141
2.15.2Ansible配置143
2.15.3Ansible实战143
2.15.4丰富的模块147
2.15.5Ansible与其他配置管理的对比147
2.16SIEM控制台基础147
2.16.1SIEM控制台日志过滤技巧148
2.16.2将重要日志加入到知识库153
2.16.3SIEM中显示不同类别日志156
2.16.4常见搜索信息158
2.16.5仪表盘显示158
2.16.6事件删除与恢复160
2.16.7深入使用SIEM控制台161
2.16.8SIEM事件聚合164
2.16.9SIEM要素165
2.16.10SIEM警报中显示计算机名172
2.16.11SIEM事件保存期限172
2.16.12SIEM数据源与插件的关系173
2.16.13SIEM日志显示中出现0.0.0.0地址的含义174
2.16.14无法显示SIEM安全事件时处理方法174
2.16.15SIEM数据库恢复175
2.16.16EPS的含义175
2.16.17常见OSSIM安装／使用错误176
2.17可视化网络攻击报警Alarm分析178
2.17.1报警事件的产生179
2.17.2报警事件分类179
2.17.3五类报警数据包样本下载184
2.17.4报警分组184
2.17.5识别告警真伪186
2.17.6触发OSSIM报警186
2.18小结194
第二篇提高篇
第3章OSSIM数据库概述197
3.1OSSIM数据库组成197
3.1.1MySQL197
3.1.2本地访问198
3.1.3检查、分析表200
3.1.4启用MySQL慢查询记录201
3.1.5远程访问202
3.1.6MongoDB203
3.1.7SQLite203
3.2OSSIM数据库分析工具203
3.2.1负载模拟方法204
3.2.2利用MySQLWorkbench工具分析数据库206
3.3查看OSSIM数据库表结构211
3.4MySQL基本操作214
3.5OSSIM系统迁移215
3.5.1迁移准备215
3.5.2恢复OSSIM216
3.6OSSIM数据库常见问题解答218
3.7小结227
第4章OSSIM关联分析技术228
4.1关联分析技术背景228
4.1.1当前的挑战228
4.1.2基本概念229
4.1.3安全事件之间的关系229
4.2关联分析基础230
4.2.1从海量数据到精准数据230
4.2.2网络安全事件的分类231
4.2.3Alarm与Ticket的区别235
4.2.4使用Ticket236
4.2.5加入知识库237
4.2.6安全事件提取238
4.2.7OSSIM的关联引擎238
4.2.8事件的交叉关联240
4.3报警聚合241
4.3.1报警样本举例241
4.3.2事件聚合242
4.3.3事件聚合举例243
4.3.4事件聚合在OSSIM中的表现形式244
4.3.5SIEM中的冗余报警245
4.3.6合并相似事件245
4.3.7同类事件的判别246
4.3.8合并流程247
4.3.9事件映射247
4.3.10Ossec的报警信息的聚类247
4.3.11Ossec与Snort事件合并249
4.4风险评估方法249
4.4.1风险评估三要素249
4.4.2Risk&Priority&Reliability的关系实例251
4.4.3动态可信度值（Reliability）254
4.4.4查看SIEM不同事件254
4.5OSSIM系统风险度量方法256
4.5.1风险判定256
4.5.2事件积累过程258
4.6OSSIM中的关联分类260
4.6.1关联分类260
4.6.2关联指令分类261
4.6.3指令组成263
4.6.4读懂指令规则265
4.6.5DirectiveInfo266
4.7新建关联指令267
4.8OSSIM的关联规则270
4.8.1关联指令配置界面271
4.8.2构建规则274
4.9深入关联规则276
4.9.1基本操作276
4.9.2理解规则树277
4.9.3攻击场景构建281
4.9.4报警聚合计算方法281
4.10自定义策略实现SSH登录失败告警282
4.11小结285
第5章OSSIM系统监测工具286
5.1Linux性能评估286
5.1.1性能评估工具286
5.1.2查找消耗资源的进程288
5.2OSSIM压力测试288
5.2.1软硬件测试环境288
5.2.2测试项目289
5.2.3测试工具289
5.2.4IDS测试工具Nidsbench292
5.3性能分析工具实例294
5.3.1sar295
5.3.2vmstat295
5.3.3用iostat分析I／O子系统296
5.3.4dstat297
5.3.5iotop298
5.3.6atop299
5.3.7替代netstat的工具ss299
5.4OSSIM平台中MySQL运行状况299
5.4.1影响MySQL性能的因素299
5.4.2系统的IOPS301
5.5Syslog压力测试工具——Mustsyslog使用302
5.5.1安装mustsyslog302
5.5.2日志模板设计304
5.5.3日志标签说明305
5.5.4域标签举例305
5.6常见问题解答305
5.7小结321
第6章Snort规则分析322
6.1预处理程序322
6.1.1预处理器介绍322
6.1.2调整预处理程序329
6.1.3网络攻击模式分类330
6.2Snort日志分析利器332
6.3Snort日志分析332
6.3.1工作模式332
6.3.2输出插件337
6.4Snort规则编写343
6.4.1Snort规则分析344
6.4.2规则组成及含义345
6.4.3编写Snort规则351
6.4.4手工修改Suricata规则354
6.4.5启用新建的ET规则354
6.4.6应用新规则355
6.4.7主动探测与被动探测356
6.5可疑流量检测技术356
6.5.1通过特征检测356
6.5.2检测可疑的载荷356
6.5.3检测具体元素357
6.5.4OSSIM中的Snort规则与SPADE检测358
6.5.5恶意代码行为特征分析358
6.5.6蜜罐检测359
6.6Snort规则进阶360
6.6.1可疑流量的报警360
6.6.2空会话攻击漏洞报警361
6.6.3用户权限获取361
6.6.4失败的权限提升报警规则362
6.6.5企图获取管理员权限362
6.6.6成功获取管理员权限362
6.6.7拒绝服务363
6.7高速网络环境的应用365
6.7.1SuricataVSSnort365
6.7.2PF_ring工作模式365
6.8网络异常行为分析366
6.8.1流程分析366
6.8.2举例367
6.10小结368
第三篇实战篇
第7章OSSIM日志收集与分析371
7.1日志分析现状371
7.1.1日志记录内容372
7.1.2日志中能看出什么373
7.1.3日志分析的基本工具及缺陷373
7.1.4海量日志收集方式374
7.2日志消息格式与存储374
7.2.1日志消息格式374
7.2.2OSSIM下的日志查询比较375
7.2.3日志的导出376
7.2.4日志分类可视化377
7.2.5基于文本格式的日志378
7.2.6基于压缩模式的日志文件380
7.2.7日志转储到数据库380
7.2.8日志处理及保存时间381
7.2.9日志系统保护381
7.2.10日志轮询381
7.2.11OSSIM分布式系统中日志存储问题382
7.3日志协议Syslog382
7.3.1常见日志收集方式383
7.3.2日志的标准化384
7.3.3主流日志格式介绍384
7.3.4Syslog日志记录级别386
7.3.5Syslog.conf配置文件386
7.3.6用Tcpdump分析Syslog数据包388
7.3.7Syslog的安全漏洞388
7.3.8配置SNMP388
7.4原始日志格式对比389
7.5插件配置步骤390
7.6插件导入391
7.7插件注册操作实例391
7.8Agent插件处理日志举例395
7.8.1收集与处理过程395
7.8.2常见Windows日志转换syslog工具397
7.8.3Windows日志审核398
7.8.4收集Windows平台日志398
7.8.5收集Cisco路由器日志399
7.9Rsyslog配置400
7.9.1Rsyslog配置详解400
7.9.2Rsyslog配置参数含义401
7.9.3选择合适的日志级别401
7.10网络设备日志分析与举例402
7.10.1路由器日志分析403
7.10.2交换机日志分析403
7.10.3防火墙日志分析405
7.10.4收集CheckPoint设备日志407
7.10.5Aruba（无线AP）的日志408
7.11Apache日志分析409
7.11.1日志作用409
7.11.2日志格式分析410
7.11.3日志统计举例410
7.11.4错误日志分析411
7.12Nginx日志分析413
7.12.1基本格式413
7.12.2将Nginx日志发送到Syslog415
7.13FTP日志分析415
7.13.1FTP日志分析415
7.13.2分析vsftpd.log和xferlog416
7.13.3将Linux的Vsftp日志发送到OSSIM418
7.14iptables日志分析419
7.14.1iptables日志分析419
7.14.2iptables日志管理范例421
7.14.3输出iptables日志到指定文件422
7.15Squid服务日志分析425
7.15.1Squid日志分类425
7.15.2典型Squid访问日志分析425
7.15.3Squid时间戳转换426
7.15.4将Squid的日志收集到OSSIM427
7.16DHCP服务器日志428
7.17收集Windows日志430
7.17.1OSSIM日志处理流程431
7.17.2通过Snare转发Windows日志431
7.17.3通过WMI收集Windows日志435
7.17.4配置OSSIM436
7.17.5Snare与WMI的区别437
7.18小结438
第8章OSSIM流量分析与监控439
8.1用NetFlow分析异常流量439
8.1.1流量采集对业务的影响440
8.1.2NetFlow的Cache管理441
8.1.3NetFlow的输出格式441
8.1.4NetFlow的采样机制441
8.1.5NetFlow采样过滤441
8.2NetFlow在监测恶意代码中的优势443
8.2.1NetFlow的性能影响444
8.2.2NetFlow在蠕虫病毒监测的应用444
8.2.3网络扫描和蠕虫检测的问题445
8.2.4NetFlow与谷歌地图的集成显示448
8.2.5其他异常流量检测结果分析449
8.3OSSIM下NetFlow实战450
8.3.1组成450
8.3.2关键参数解释452
8.3.3Sensor中启用NetFlow453
8.3.4Nfsen数据流的存储位置454
8.3.5NetFlows抽样数据保存时间456
8.3.6NetFlow的读取方式456
8.3.7nfdump的作用458
8.3.8将NetFlow数据集成到WebUI的仪表盘458
8.3.9分布式环境下NetFlow数据流处理459
8.4OSSIM流量监控工具综合应用463
8.4.1Ntop流量采集方式463
8.4.2Ntop监控464
8.4.3数据大小分析469
8.4.4流量分析470
8.4.5协议分析474
8.4.6负载分析475
8.4.7Ntop应用于网络视频监视476
8.4.8Ntop的风险旗帜标示478
8.4.9升级到Ntopng481
8.5故障排除482
8.5.1多网卡问题482
8.5.2NtopWeb页面打开缓慢对策483
8.5.3“Sensornotavailable”故障对策483
8.5.4暂停Ntop服务484
8.5.5管理员密码遗忘对策484
8.6用Nagios监视485
8.6.1Nagios实现原理486
8.6.2利用NRPE插件实现服务器监控486
8.6.3Nagios的Web界面489
8.6.4Naigos插件494
8.6.5Nagios扩展NRPE499
8.6.6监控开销500
8.6.7OSSIM系统中应用Nagios监控资源500
8.6.8Nagios报错处理502
8.6.9被动资产检测PRADS503
8.6.10性能监控利器Munin504
8.7Nagios配置文件505
8.7.1主机定义506
8.7.2服务定义507
8.8第三方监控工具集成507
8.8.1OSSIM2.3的集成508
8.8.2OSSIM4.1的集成509
8.8.3OSSIM4.6的集成510
8.8.4Sensor安装Cacti511
8.8.5安装Zabbix513
8.9硬件监控514
8.9.1IPMI514
8.9.2lm—sensors516
8.9.3hddtemp516
8.10小结517
第9章OSSIM应用实战518
9.1使用OSSIM系统518
9.1.1初识OSSIMWebUI518
9.1.2OSSIM4.8界面521
9.1.3OSSIM控制中心：AlienVaultCenter523
9.1.4基于角色的访问权限控制524
9.1.5仪表盘详解527
9.2OSSIM的WebUI菜单结构529
9.3OSSEC架构与配置531
9.3.1OSSEC架构531
9.3.2OSSECAgent端进程531
9.3.3OSSECServer端534
9.3.4OSSEC配置文件和规则库535
9.3.5测试规则537
9.3.6分布式系统中OSSECAgent的管理537
9.3.7OSSEC日志存储538
9.3.8OSSECAgent安装539
9.3.9OSSEC触发的关联分析报警550
9.3.10其他HIDS应用552
9.4资产Assets管理553
9.4.1资产发现554
9.4.2资产地图定位555
9.4.3扫描控制参数555
9.4.4资产列表556
9.4.5资产管理工具558
9.4.6资产分组560
9.4.7资产快速查找561
9.4.8设置Nmap扫描频率562
9.4.9OCS检测频率562
9.5OpenVAS扫描模块分析562
9.5.1扫描流程控制563
9.5.2扫描插件分析564
9.5.3脚本加载过程568
9.5.4NASL脚本介绍569
9.6OpenVAS脚本分析569
9.6.1OpenVAS脚本类别570
9.6.2同步OpenVAS插件570
9.7漏洞扫描实践575
9.7.1漏洞库575
9.7.2常见漏洞发布网站577
9.7.3手动更新CVE库578
9.7.4采用OpenVAS扫描578
9.7.5扫描过程582
9.7.6变更扫描策略584
9.7.7Nmap与OpenVAS的区别587
9.7.8分布式漏洞扫描588
9.7.9设置扫描用户凭证589
9.7.10扫描频率590
9.7.11漏洞扫描超时问题590
9.8OpenVAS扫描故障排除591
9.8.1常见OpenVAS故障三则591
9.8.2OpenVAS故障分析594
9.9配置OSSIM报警598
9.9.1基本操作598
9.9.2实例599
9.10OSSIM在蠕虫预防中的应用602
9.10.1多维度分析功能603
9.10.2发现异常流量603
9.10.3蠕虫分析604
9.10.4流量分析605
9.10.5协议分析607
9.11时间线分析方法608
9.11.1时间线分析法的优势608
9.11.2实例608
9.12利用OSSIM进行高级攻击检测610
9.12.1误用检测与异常检测610
9.12.2绘制Shellcode代码执行流程图613
9.12.3收集异常行为流量样本614
9.13合规管理及统一报表输出615
9.13.1合规管理目标615
9.13.2主要技术615
9.13.3什么是合规616
9.13.4理解PCI合规遵从616
9.13.5报表类型619
9.13.6日志合规检测621
9.13.7报表合规性624
9.14小结627
第10章基于B／S架构的数据包捕获分析628
10.1数据包捕获628
10.1.1数据包捕获设定629
10.1.2抓包区域说明630
10.1.3抓包时提示“Thistrafficcaptureisempty”的解决办法631
10.1.4远程故障排除案例631
10.2数据包过滤种类632
10.3过滤匹配表达式实例634
10.3.1过滤基础634
10.3.2协议过滤634
10.3.3对端口的过滤635
10.3.4对包长度的过滤635
10.3.5ngrep过滤636
10.4命令行工具tshark和dumpcap637
10.4.1tshark应用基础637
10.4.2dumpcap使用638
10.4.3用tshark分析pcap638
10.5使用tcpdump过滤器641
10.5.1tcpdump过滤器基础641
10.5.2其他常见过滤器使用方法642
10.5.3通过TrafficCapture抓包存储643
10.6针对IE浏览器漏洞的攻击分析644
10.7小结648
参考文献649