logstash资源包的安装及使用

logstash资源包

https://artifacts.elastic.co/downloads/logstash/logstash-5.2.2.tar.gz //下载链接

Logstash Hello world

第一个示例Logstash将采用标准输入和标准输出作为input和output,并且不指定filter

(1)下载Logstash并解压(需要预先安装JDK8)

tar xzvf logstash.5.2.2.tar.gz

(2)cd到Logstash的根目录,并执行启动命令如下:

cd logstash-5.2.2
bin/logstash -e 'input { stdin { } } output { stdout {} }'

(3)此时Logstash已经启动成功,-e表示在启动时直接指定pipeline配置,当然也可以将该配置写入一个配置文件中,然后通过指定配置文件来启动
(4)在控制台输入:hello world,可以看到如下输出:

{
"@version" => "1",
"host" => "localhost",
"@timestamp" => 2019-06-25 T08:39:38.514Z,//入库时间相差八个小时
"message" => "hello world"
}  

Logstash会自动为数据添加@version, host, @timestamp等字段

在这个示例中Logstash从标准输入中获得数据,仅在数据中添加一些简单字段后将其输出到标准输出。

logstash连接kafka和es

	cd logstash-5.2.2
	mkdir conf
	vi conf/kafka-es.conf
	input{
    kafka {
	bootstrap_servers => ["192.168.2.176:9092"]
        group_id => "hhpleasant"   
        topics => ["test1"]
        consumer_threads => 5 
        decorate_events => true
        codec => "json"
	auto_offset_reset => "latest"
}}
filter {
    ruby {
        code => "event.timestamp.time.localtime" //修正时间
    }
}
output{
    elasticsearch{
	 action=> "index"
	 index => "%{[type]}"
	 hosts => "192.168.2.176:9200"
     }
   stdout{codec => rubydebug}
}

启动logstash

bin/logstash -f conf/kafka-es.conf

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值