前言
在《ELK接入微服务工程》章节中实现了通过ELK对微服务日志收集查询管理工作,那么对于大型系统,特别是微服务设计下的分布式系统,我们的日志来源非常之多,如果直接通过logstash收集输出至elasticsearch很有可能会导致elasticsearch奔溃,如何进行有效的流量控制显得很重要,消息队列能够很好的解决此顾虑。Kafka具有很好的分布式扩容能力,且在高并发场景下优势明显,故本章将基于Kafka与ELK整合,部署架构如下:
本章概要
1、准备工作;
2、前置Logstash配置;
3、后置Logstash配置;
4、启动各组件服务验证;
准备工作
本次组件如下:
其中logstash-front与logstash-back对应上面的部署架构图。
前置Logstash配置
切换至D:\ELK\logstash-front-5.3.0\bin目录,修改logstash.conf配置如下:
input {
file {
path => "D:/learnworkspace/springcloud-netfilx-demo/springcloud-eureka-register/log/*.log"
}
stdin { }
}
filter {
}
output {
kafka{
topic_id => "syslog"
bootstrap_servers => "127.0.0.1:9092"
batch_size => 5
compression_type => "snappy"
}