《Splunk智能运维实战》——1.8 定义字段提取内容

本节书摘来自华章计算机《Splunk智能运维实战》一书中的第1章,第1.8节,作者 [美]乔史·戴昆(Josh Diakun),保罗R.约翰逊(Paul R. Johnson),德莱克·默克(Derek Mock),译 宫鑫,康宁,刘法宗 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.8 定义字段提取内容

Splunk内置了许多功能,能识别多种常见的源类型,因此能自动识别出数据中的字段。Splunk默认也会提取日志数据中的所有键值对和JSON格式日志中的所有字段。但是原始日志数据中的字段不能直接解释,必须提供给Splunk相关信息使这些字段易于搜索。

随后章节要用到的样本数据包含了作为字段提交给Splunk的数据。大部分原始数据包含Splunk能自动提取的键值对,但需要告知Splunk如何提取代表页面响应时间的这一特殊字段。要进行该操作,需要添加自定义字段提取内容,以便告知Splunk如何提取字段。

做好准备

本节的操作需要运行Splunk服务器并上传智能运维样本数据。

如何操作

按照下列步骤添加response自定义字段提取内容:

1 . 登录Splunk服务器。

2 . 从右上角单击“设定”菜单,并单击“字段”链接。

screenshot

3 . 单击“字段提取”链接。
screenshot

4 . 单击“新建”。

5 . 在“目标应用程序”字段,选择“搜索”应用程序,在“名称”字段,输入response。在“应用于”下拉菜单选择“源类型”,并在“名称”字段输入access_ combined。在“类型”下拉菜单选择“Inline”,在“提取/转换”字段,输入(?i)^(?:1*"){8}s+(?P.+)正则表达式。
screenshot

6 . 单击“保存”。

7 . 在“字段提取”列表页面,找到刚刚添加的提取内容,在“分享”一栏,单击“权限”链接。
screenshot

8 . 将“目标可见”调至“所有应用程序”。在“权限”部分,在“读取”一栏勾选“所有人”,在“写入”一栏勾选“admin”,然后单击“保存”。
screenshot

9 . 回到Splunk搜索页面,输入下列搜索命令,时间范围设为
“过去60分钟”。

现在可以看到“response”字段已经提取到搜索页面左侧“感兴趣字段”部分的下方。

工作原理

所有的字段提取都保存在props.conf和transforms.conf这两个配置文件中。props.conf中的节包含一个提取类,它利用正则表达式提取字段名称和/或值以供搜索时使用。transforms.conf文件更加深入,可用于更高级的提取,如在多个源、源类型或主机上重复使用或分享提取。

另参见

screenshot


  1. "
Splunk是一种高扩充性且通用的数据引擎。它可以帮助企业收集、编入索引并智能化地分析由网络、应用程序以及移动设备等产生的机器数据,并最终帮助企业决策者做出准确的判断。本书集合了各种实用方法,目的是给读者提供指导和实用知识,以便读者掌握Splunk Enterprise 6的各种功能,从数据中提取出强大而有价值的运维智能。 《Splunk智能运维实战》共10章,第1章介绍将数据导入Splunk的基本方法;第2章介绍使用Splunk搜索数据的基本方法;第3章介绍如何创建仪表盘和数据的可视化图表;第4章介绍如何创建并修改Splunk应用程序;第5章介绍如何使用Splunk的数据模型和透视功能;第6章介绍Splunk中的一些高级搜索命令,将学习如何创建事务、编写次级搜索、理解并发性、利用字段关联等;第7章介绍如何增加和丰富Splunk中的数据,详细讲解Splunk查找和工作流程功能的使用;第8章介绍Splunk的警报功能;第9章介绍Splunk中的更多数据汇总方法:汇总索引和报表加速;第10章介绍如何自定义Splunk应用程序并使用Splunk SDK和API的高级特性来处理Splunk内的数据。 目录 译者序 前言 第1章 游戏时间——导入数据 1 1.1 简介 1 1.2 索引文件和目录 2 1.3 从网络端口获取数据 7 1.4 使用脚本输入 10 1.5 使用模块输入 12 1.6 使用通用转发器收集数据 16 1.7 为本书加载样本数据 19 1.8 定义字段提取内容 22 1.9 定义事件类型和标签 24 1.10 小结 26 第2章 深入数据——搜索和报表 27 2.1 简介 27 2.2 使原始事件数据具备可读性 30 2.3 找出最常访问的网页 32 2.4 找出最常使用的Web浏览器 34 2.5 找出浏览量来源最多的网站 37 2.6 制作网页响应代码的图表 38 2.7 显示网页响应时间的统计数据 40 2.8 列出浏览次数最多的产品 43 2.9 制作应用程序使用性能的图表 45 2.10 制作应用程序内存使用情况的图表 47 2.11 计算数据库连接的总数 48 2.12 小结 50 第3章 仪表盘和可视化——让数据闪光 51 3.1 简介 51 3.2 创建智能运维仪表盘 53 3.3 使用饼图展示最常访问的网页 55 3.4 显示唯一访客数量 59 3.5 使用计量器显示错误的数量 63 3.6 制作每一主机不同请求方法数量的图表 66 3.7 制作请求方法、浏览量和响应时间的时间图 67 3.8 使用散点图根据大小和响应时间标识离散的请求 70 3.9 制作面积图显示应用程序的性能统计数据 73 3.10 使用条形图按类别显示平均花销 75 3.11 制作折线图显示项目浏览量和购买量随时间的变化 77 3.12 小结 78 第4章 创建智能运维应用程序 80 4.1 简介 80 4.2 创建智能运维应用程序 81 4.3 添加仪表盘和报表 84 4.4 更高效地组织仪表盘 89 4.5 动态钻取活动报表 92 4.6 创建表单搜索Web活动 97 4.7 将网页活动报表链接至表单 101 4.8 显示访客地理分布图 105 4.9 计划仪表盘的PDF交付 109 4.10 小结 112 第5章 智能拓展——数据模型和透视 113 5.1?简介 113 5.2?为Web访问日志创建数据模型 115 5.3?为应用程序日志创建数据模型 121 5.4 加速数据模型 126 5.5 透视总交易量 129 5.6 根据地理位置透视购买量 134 5.7 透视响应最慢的网页 139 5.8 用透视图显示最多的错误代码 144 5.9 小结 145 第6章 深入挖掘——高级搜索 146 6.1 简介 146 6.2 计算网站平均会话时间 147 6.3 计算多层Web请求的平均执行时间 152 6.4 显示最大并发结账 157 6.5 分析Web请求之间的关系 161 6.6 预测网站流量大小 164 6.7 寻找数量反常的Web请求 168 6.8 识别潜在的会话欺骗 172 6.9 小结 175 第7章 丰富数据——查找和工作流程 176 7.1 简介 176 7.2 查询产品编码描述 177 7.3 标记可疑IP地址 183 7.4 创建会话状态表 187 7.5 在IP地址中添加主机名 190 7.6 为给定的IP地址搜索ARIN 192 7.7 为给定错误触发谷歌搜索 196 7.8 为应用程序错误创建凭证 200 7.9 从外部数据库查询库存 204 7.10 小结 2118章 抢先一步——创建警报 212 8.1 简介 212 8.2 警告异常网页响应时间 214 8.3 警告实时结账过程中的错误 218 8.4 警告异常用户行为 225 8.5 警告失败并触发脚本响应 229 8.6 警告预计销售量超出库存量 232 8.7 小结 238 第9章 加速智能数据汇总 239 9.1 简介 239 9.2 计算每小时会话及完成交易的数量 241 9.3 按城市回填购买数量 247 9.4 按时间顺序显示并发会话最大数量 254 9.5 小结 259 第10章 更进一步——自定义、Web框架、REST API和SDK 260 10.1 简介 260 10.2 自定义应用程序的导航 261 10.3 添加网络点击量的力导向图 265 10.4 添加产品购买量的日历热图 273 10.5 远程查询Splunk的REST API以获取唯一页面浏览量 278 10.6 创建Python应用程序返回唯一IP地址 280 10.7 创建自定义搜索命令来格式化产品名称 284 10.8 小结 288
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值