logstash匹配路径字段

最新推荐文章于 2024-07-30 14:58:00 发布

禅剑一如

最新推荐文章于 2024-07-30 14:58:00 发布

阅读量1.1k

点赞数

分类专栏： elastic stack

本文链接：https://blog.youkuaiyun.com/zsx18273117003/article/details/106377563

版权

elastic stack 专栏收录该内容

21 篇文章

订阅专栏

本文介绍了三种在Logstash中处理路径字段的方法：1) 使用grok插件，通过配置logstash.conf文件并启动脚本来匹配路径；2) 结合ruby和mutate插件进行处理，同样涉及配置文件修改及脚本启动；3) 利用ruby插件单独完成路径字段的处理，同样包括配置文件的更新和执行验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

方法一：使用grok插件

1. d:/usr2/local/etc/logstash/pipeline1目录下logstash.conf配置文件

input { 
    stdin { } 
}

filter {
    grok {
        # 匹配路徑 /usr/share/filebeat/log/apps/butler/filebeat5.log中的butler
        match => {message => "^/%{DATA}/%{DATA}/%{DATA}/%{DATA}/%{DATA}/%{DATA:path}/%{DATA}"}
    }
}

output {
	stdout { codec => rubydebug }
}

2. 启动脚本

docker run --rm -it -v /d/usr2/local/etc/logstash/pipeline1:/usr/share/logstash/pipeline --name logstash1 -p 9600:9600 logstash:7.7.0

3. 控制台输入内容，查看结果

/usr/share/filebeat/log/apps/butler/filebeat2.log

方法二：使用ruby、mutate插件

1. logstash.conf配置文件修改为

input { 
    stdin { } 
}

filter {
    ruby {
        code => '
            event.set("components", event.get("message").split("/"))
        '
    }
    if [components][6] {
        mutate {
            add_field => {"path1" => "%{[components][6]}"}
            remove_field => [components]
        }
    }
}

output {
	stdout { codec => rubydebug }
}

2. 启动脚本

docker run --rm -it -v /d/usr2/local/etc/logstash/pipeline1:/usr/share/logstash/pipeline --name logstash1 -p 9600:9600 logstash:7.7.0

3. 控制台输入内容，查看结果

/usr/share/filebeat/log/apps/butler/filebeat2.log

方法三：使用ruby插件

1. logstash.conf配置文件修改为

input { 
    stdin { } 
}

filter {
    ruby {
        code => '
            event.set("path2", event.get("message").split("/")[-2])
        '
    }
}

output {
	stdout { codec => rubydebug }
}

2. 启动脚本

docker run --rm -it -v /d/usr2/local/etc/logstash/pipeline1:/usr/share/logstash/pipeline --name logstash1 -p 9600:9600 logstash:7.7.0

3. 控制台输入内容，查看结果

/usr/share/filebeat/log/apps/butler/filebeat2.log