Filebeat Filter - Dissect/DNS Reverse

最新推荐文章于 2024-08-23 20:18:55 发布

MoreThanJason

最新推荐文章于 2024-08-23 20:18:55 发布

阅读量1.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： elastic 文章标签： elastic beats filebeat logstash

本文链接：https://blog.youkuaiyun.com/MoreThanJason/article/details/92615516

本文介绍了如何利用Filebeat的Dissect过滤器从日志中提取IP信息，并通过DNS Reverse将其转换为域名。由于在Ingest Node上无法进行DNS转换操作，因此选择了在Filebeat端进行处理。Dissect是一种轻量级的过滤器，适用于数据格式固定的情况，而DNS Reverse则用于客户端进行DNS解析，避免在ES端增加额外负担。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在使用Filebeat替代Logstash的时候遇到需要从log中摘取数据的case，比如解析access log，最开始的方案是使用Filebeat module功能，把所有load都转移到Elasticsearch的Ingest Node上面。
之后遇到的case是文件路径中带有IP信息，需要把ip摘取出来之后通过DNS域名解析服务器转变成域名。如果依然使用module方式在Ingest node上面抓取的话没法后续做DNS转换的操作，遂考虑在Filebeat上面使用Dissect+DNS Reverse的方案。

Dissect:

Dissect是一款轻量级的匹配过滤器，相比于Grok，不做过多的正则匹配。如若数据格式相对固定并且有明显的分割边界，使用Dissect会比Grok消耗更少的资源。

  - dissect:
      when:
        equals:
          type: 'XXX'
      tokenizer: "/%{}/%{}/%{}/%{}/%{}/%{IP}/"
      field: "path"
      target_prefix: "ip"

target_prefix 表示新生成了一个叫ip object字段，所有匹配到的字段名都会在这个字段之下

%{IP}表示生成的字段会位于IP这个字段内，结合target_prefix，则位于ip.IP 字段下

%{} 可以用于跳过匹配

%{?test}用于匹配到之后不生成新字段

%{+test}用于多个匹配都追加到test字段中