Splunk智能运维实战

本书共10章。第1章介绍了将数据导入Splunk的多种方法；第2章介绍了如何利用Splunk的SPL（搜索处理语言）来搜索事件数据；第3章介绍了如何在创建的报表基础上进行可视化构建；第4章讲授仪表盘的概念；第5章介绍了事务、次级搜索、并发、关联和更高级的搜索命令；第6章介绍查找和工作流程操作的概念；第7章介绍了如何创建警报；第8章介绍了汇总索引的概念；第9章介绍了SplunkEnterprise第6版推出的两个最新最强大的特性：数据模型和透视工具；第10章介绍了如何自定义Splunk应用程序并使用SplunkSDK和API的高级特性来处理Splunk内的数据。

乔史·戴昆，是IT运营和安全领域的专家，在管理和架构企业级IT环境方面拥有1O多年的经验。他合伙建立了商业投资公司Discove redIntelligence，同时是Splunk Toronto User Group的创始人之一。
保罗R.约翰逊，在信息安全、运营和管理领域拥有超过1 0年的数据智能运维经验。他是Discovered Intelligence公司的合伙人，也参与创办了Splunk Toronto User Group。
德莱克·默克，是软件开发商和设计师。他在开发和操作大型企业级部署和SaaS应用程序方面拥有超过1 5年的经验。他也参与创办了Splunk Toronto User Group。
宫鑫，射手学院创始人，搜索引擎营销专家，曾任百度认证负责人，品众互动首席优化师。著有《Google广告优化与工具》；主持编写《百度推广一搜索营销新视角》、《点金时刻-搜索营销实战前沿》；译著十余本。
康宁，上海外国语大学英语语言文学博士，现为青岛科技大学外国语学院副教授，英语系主任，翻译硕士教育中心主任。在《中国翻译》等期刊发表论文二十余篇，出版译著一部。曾为青岛海等多家公司担任兼职译审和翻译。
刘法宗，山东青岛人，青岛科技大学翻译硕士，参与翻译的作品有《用户体验设计中的眼动追踪技术》、《用户体验设计优化之道》和《3D打印一达人迷》。

译者序
前言
第1章 游戏时间——导入数据 1
1.1 简介 1
1.2 索引文件和目录 2
1.3 从网络端口获取数据 7
1.4 使用脚本输入 10
1.5 使用模块输入 12
1.6 使用通用转发器收集数据 16
1.7 为本书加载样本数据 19
1.8 定义字段提取内容 22
1.9 定义事件类型和标签 24
1.10 小结 26
第2章 深入数据——搜索和报表 27
2.1 简介 27
2.2 使原始事件数据具备可读性 30
2.3 找出最常访问的网页 32
2.4 找出最常使用的Web浏览器 34
2.5 找出浏览量来源最多的网站 37
2.6 制作网页响应代码的图表 38
2.7 显示网页响应时间的统计数据 40
2.8 列出浏览次数最多的产品 43
2.9 制作应用程序使用性能的图表 45
2.10 制作应用程序内存使用情况的图表 47
2.11 计算数据库连接的总数 48
2.12 小结 50
第3章 仪表盘和可视化——让数据闪光 51
3.1 简介 51
3.2 创建智能运维仪表盘 53
3.3 使用饼图展示最常访问的网页 55
3.4 显示唯一访客数量 59
3.5 使用计量器显示错误的数量 63
3.6 制作每一主机不同请求方法数量的图表 66
3.7 制作请求方法、浏览量和响应时间的时间图 67
3.8 使用散点图根据大小和响应时间标识离散的请求 70
3.9 制作面积图显示应用程序的性能统计数据 73
3.10 使用条形图按类别显示平均花销 75
3.11 制作折线图显示项目浏览量和购买量随时间的变化 77
3.12 小结 78
第4章 创建智能运维应用程序 80
4.1 简介 80
4.2 创建智能运维应用程序 81
4.3 添加仪表盘和报表 84
4.4 更高效地组织仪表盘 89
4.5 动态钻取活动报表 92
4.6 创建表单搜索Web活动 97
4.7 将网页活动报表链接至表单 101
4.8 显示访客地理分布图 105
4.9 计划仪表盘的PDF交付 109
4.10 小结 112
第5章 智能拓展——数据模型和透视 113
5.1?简介 113
5.2?为Web访问日志创建数据模型 115
5.3?为应用程序日志创建数据模型 121
5.4 加速数据模型 126
5.5 透视总交易量 129
5.6 根据地理位置透视购买量 134
5.7 透视响应最慢的网页 139
5.8 用透视图显示最多的错误代码 144
5.9 小结 145
第6章 深入挖掘——高级搜索 146
6.1 简介 146
6.2 计算网站平均会话时间 147
6.3 计算多层Web请求的平均执行时间 152
6.4 显示最大并发结账 157
6.5 分析Web请求之间的关系 161
6.6 预测网站流量大小 164
6.7 寻找数量反常的Web请求 168
6.8 识别潜在的会话欺骗 172
6.9 小结 175
第7章 丰富数据——查找和工作流程 176
7.1 简介 176
7.2 查询产品编码描述 177
7.3 标记可疑IP地址 183
7.4 创建会话状态表 187
7.5 在IP地址中添加主机名 190
7.6 为给定的IP地址搜索ARIN 192
7.7 为给定错误触发谷歌搜索 196
7.8 为应用程序错误创建凭证 200
7.9 从外部数据库查询库存 204
7.10 小结 211
第8章 抢先一步——创建警报 212
8.1 简介 212
8.2 警告异常网页响应时间 214
8.3 警告实时结账过程中的错误 218
8.4 警告异常用户行为 225
8.5 警告失败并触发脚本响应 229
8.6 警告预计销售量超出库存量 232
8.7 小结 238
第9章 加速智能数据汇总 239
9.1 简介 239
9.2 计算每小时会话及完成交易的数量 241
9.3 按城市回填购买数量 247
9.4 按时间顺序显示并发会话最大数量 254
9.5 小结 259
第10章 更进一步——自定义、Web框架、REST API和SDK 260
10.1 简介 260
10.2 自定义应用程序的导航 261
10.3 添加网络点击量的力导向图 265
10.4 添加产品购买量的日历热图 273
10.5 远程查询Splunk的REST API以获取唯一页面浏览量 278
10.6 创建Python应用程序返回唯一IP地址 280
10.7 创建自定义搜索命令来格式化产品名称 284
10.8 小结 288

前    言?Preface 在这个以科技为中心的世界里，各式各样的机器产生了大量的数据。Splunk因此推出了业内领先的大数据智能运维平台——Splunk Enterprise。这个强大的平台能让用户将机器数据转化为可操作的、非常重要的运维智能。 本书融合了各种实用方法，旨在提供指导和实用知识，以便使读者掌握Splunk Enterprise 6的各种功能，从数据中提取出强大而重要的运维智能。 本书通过简单易学、循序渐进的操作技巧，教授读者如何有效地收集、分析并创建所在环境的运营数据报表。这些技巧将展示如何加快智能报表的交付，并教授读者通过仪表盘和应用Splunk Enterprise中的各种可视化手段来恰当地展示数据。读完本书，读者将能建立一个强大的智能运维应用程序，并学会使用Splunk Enterprise平台的多项关键特性。 当读者向他人介绍Splunk Enterprise平台和自己新掌握的获取智能运维的能力时，可将书中简单易学的诀窍用作教学工具。 本书的主要内容 第1章介绍将数据导入Splunk的多种方法，包括从本地文件和目录收集数据，通过TCP/UDP端口输入，直接从通用转发器导入或使用脚本化和模块化输入。该章还会介绍一个数据集，在之后的章节都会用到它。我们还将学习如何生成样本数据，以便与本书的每项技巧配套使用。 第2章介绍了本书的第一组技巧。该章所介绍的信息和技巧将利用第1章获取的数据，教授使用Splunk的SPL（搜索处理语言）来搜索事件数据；应用字段抽取；按字段值将同类事件分组；使用table、top、chart和stats命令来构建基本的报表。 第3章指导读者在前一章创建的报表基础上进行可视化构建。该章将教授如何通过Splunk提供的强大的可视化手段将数据和报表生动地呈现出来。该章将要介绍的可视化手段包括单值、图表（条形图、饼图、折线图和面积图）、散点图和计量器。 第4章在前一章的可视化图表的基础上，讲授仪表盘的概念。该章提供的信息和技巧将简要介绍仪表盘的用途，并教授读者如何恰当地使用仪表盘，如何使用仪表板编辑器来建立仪表盘，如何建立表单来搜索事件数据等。 第5章让读者更深入地研究数据，介绍事务、次级搜索、并发、关联和更高级的搜索命令。通过该章提供的信息和技巧，读者将学会从不同的来源聚合信息，并了解如何在不同的事件数据之间建立关联。 第6章将介绍查找和工作流程操作的概念，为的是增加分析数据。该章介绍的技巧可帮助读者应用这个核心功能来进一步加深对所分析数据的理解。 第7章解释为什么预定警报或实时警报是完整的智能运维和运营认知的关键。该章将介绍主动警报的概念和益处，并说明何时应用这些警报最好。该章提供的技巧将指导读者在前面章节所学知识的基础上创建警报。 第8章介绍汇总索引的概念，为的是加快报表速度并节约获取商业情报的时间。该章会简单介绍一些将汇总索引用于加快报表速度或长时间保存聚集统计数据的常见情况。 第9章介绍Splunk Enterprise 6推出的两个最新、最强大的特性：数据模型和透视工具。该章提供的技巧将指导读者学习建造数据模型并使用透视工具迅速设计基于已构建模型的智能报表。 第10章是本书的最后一章，介绍Splunk的4个非常强大的特性。这些特性允许读者使用Splunk来创造丰富和强大的交互体验。该章给出的技巧让读者能超越Splunk Enterprise的核心功能并制作自己的带有强大D3可视化的智能运维应用程序。此外，它也将讲述查询Splunk的REST API的技巧，并给出一个基础的Python应用来使用Splunk的SDK执行搜索。 阅读前的准备工作 要学习本书提供的技巧，读者需要安装Splunk Enterprise 6并拥有本书附带的样本数据。这些技巧适用于所有Splunk Enterprise环境，但为了得到最佳结果，我们建议大家使用本书提供的样本。 Splunk Enterprise 6可以免费下载并在主流平台上运行，下载地址是http://www.splunk.com/download。 本书提供的样本会附带Splunk事件生成器工具，这样当你学习这些技巧时，事件数据就能刷新，事件会重放。 本书的读者对象 本书面向所有用户。不管是初学者还是高级人员，任何想将Splunk Enterprise平台用作智能运维工具的人都可以阅读本书。书中包括的技巧对IT、安全、产品、营销或任何其他领域的人都有帮助。 尽管本书和书中的技巧任何人都可以学习，但它介绍的概念和特性会越来越复杂，对初学者来说可能较难理解。如果你需要更多地了解某个特性，Splunk制作了大量文档来介绍Splunk Enterprise的所有特性，可以访问http://docs.splunk.com/Documentation/Splunk来查找。 书中有些部分会用到正则表达式并介绍一些利用Python和XML语言的技巧。读者若具有这些方面的经验会更有益处，但这些知识不是必需的。 下载示例代码 你可以登录http://www.hzbook.com下载本书示例代码。