elk 之logstach管道用法

最新推荐文章于 2025-07-14 23:34:32 发布

原创最新推荐文章于 2025-07-14 23:34:32 发布 · 364 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#elk #elasticsearch #大数据

ELK 同时被 2 个专栏收录

11 篇文章

订阅专栏

logstach

1 篇文章

订阅专栏

本文介绍Logstash的日志采集配置方法，包括基本命令使用、输入输出配置、grok过滤器解析日志格式等。提供了从Tomcat日志采集到Elasticsearch存储的具体配置实例。

启动 Logstash

Logstash 的启动命令位于安装路径的 bin 目录中，直接运行 logstash 不行，

需要按如下方式提供参数 :

./logstash -e "input {stdin {}} output {stdout{}}"

bin目录下

1: ./logstash -e "input {stdin {}} output {stdout{}}"

主要是输入和过滤及输出流程

例子2：

./bin/logstash -e "input {stdin {}} output {stdout{codec => plain}}"

2：通过定义conf文件来执行：

input { stdin { } }
filter {
grok {
match => {
"message" => "%{WORD:request}\?client=%{WORD:client}&areaCode=%{NUMBER:area}&netWorkId=%{NUMBER:net}"
}
remove_field => ["message"]
}
}
output { stdout {} }

1：一个是删除lock,一个是删除上次的偏移量

操作之前，删除.lock

std_es.conf 如下：

input {
stdin { }
}
output {
elasticsearch {
hosts => ["http://121.40.42.216:9200"]
index => "mystdin"
user => "elastic"
password => "elasticCll" }
}

注：会自动创建索引

参考网址1：

ELK快速入门（二）通过logstash收集日志 - 别来无恙- - 博客园

logstash收集tomcat日志

参考网址2：logstash采集日志_木子金丰的博客-优快云博客_logstash日志收集

grok表达式参考 Grok常用表达式_zhangsaho的博客-优快云博客_grok表达式

input {
  file{
	path => "E:/devetool/apache-tomcat-7.0.77/logs/catalina.2019-07-18.log"
	codec => plain{ charset => "GBK" }
	type => "tomcat-catalina"
  }
  
  file{
	path => "E:/devetool/apache-tomcat-7.0.77/log/disconf-log4j.log"
	type => "disconf-log4j"
	#多行日志合并
	codec => multiline{
      negate => true  #是否匹配到
      pattern => "(?<datetime>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2}.\d{3})" #匹配的正则
      what => "previous" #将没匹配到的合并到上一条，可选previous或next, previous是合并到匹配的上一行末尾
	}
  }
}

#从采集的数据处理
filter{
	grok{
		match => {"message" => "(?<logdatetime>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3})"}
		remove_field => "logdatetime"
		add_field =>{
            "from" => "lifeng"
        }
	}
	date{
        match => ["logdatetime", "yyyy-MM-dd HH:mm:ss,SSS"]   #这里是如果datetime跟后面的格式匹配上了就会去替换，替换什么呢？target默认指的就是@timestamp,所以就是以datetime的时间更新@timestamp的时间
		target => "@timestamp"
	}
}


output{
	if[type] == "tomcat-catalina"{
		elasticsearch{ 
			hosts => "localhost:9200"
			index => "tomcat-catalina-%{+YYYY.MM.dd}" #索引名称
			document_type => "tomcat-catalina" #type
		} 
	}
	
	if[type] == "disconf-log4j"{
		elasticsearch{ 
			hosts => "localhost:9200"
			index => "disconf-log4j-%{+YYYY.MM.dd}" #索引名称
			document_type => "disconf-log4j" #type
		} 
	}
	
	stdout{

	}
}

Grok表达式

55.3.244.1 GET /index.html 15824 0.043

%{IP:client}\s*%{WORD:method}\s*%{URIPATHPARAM:request}\s*%{NUMBER:bytes}\s*%{NUMBER:duration}

结果如下

127.0.0.1 - - [03/Nov/2021:15:47:20 +0800] "POST /ewj_market/admin/MarketAccountLog/Com_list.action HTTP/1.1" 200 26205


grok表达式1
%{IP:ip}\s*(-\s*)+\[%{HTTPDATE:date}\]\s*\"%{WORD:method}\s*%{NOTSPACE:requestPath}\s*%{NOTSPACE:uri}\"\s*%{POSINT:status}\s*%{POSINT:port}

grok表达式2
%{IP:ip}\s*(-\s*)+\[%{HTTPDATE:date}\]\s*\"%{WORD:method}\s*%{NOTSPACE:requestPath}\s*%{NOTSPACE:uri}\"\s*%{INT:status}\s*%{POSINT:port}



127.0.0.1 - - [03/Nov/2021:15:47:21 +0800] "GET /ewj_market/common_res/js/base64UTF8.js?_=1635925641868 HTTP/1.1" 200 3005

grok表达式
%{IP:ip}\s*(-\s*)+\[%{HTTPDATE:date}\]\s*\"%{WORD:method}\s*%{NOTSPACE:requestPath}\s*%{NOTSPACE:uri}\"\s*%{POSINT:status}\s*%{POSINT:port}