前面我已经搭建好了elk组件,也已经启动过elk了,也已经安装好了zookeeper和kafka服务并且启动了,能看到kafka在命令行的生产和消费流程,那么此时我想在kibana中看到kafka中的消息,那么此时就要让logstash的input,即输入不再是之前配置的file
input {
file {
path => ["/Users/java0904/Downloads/test.txt"]
}
}
output {
elasticsearch{
hosts => ["http://localhost:9200"]
}
}
要改为kakfa,只需要更改配置文件就好了,我的配置文件的位置是
cd /Users/java0904/Downloads/logstash-7.8.1

于是我cp了一份conf文件,改为如下配置
input {
file {
path => ["/Users/java0904/Downloads/test.txt"]
}
}
output {
elasticsearch{
hosts => ["http://localhost:9200"]
}
}
重新启动一下logstash
bin/logstash -f test_logstash.conf
报错:

解决方案
cd /data
rm .lock

重新启动后ok
再次打开kibana界面http://localhost:5601/
可以看到消息已经同步到es上面了

本文介绍了如何将Logstash的输入源从文件更改为Kafka,并成功地将Kafka消息同步到Elasticsearch中,通过Kibana进行可视化展示。
276

被折叠的 条评论
为什么被折叠?



