Kafka+ELK集成

前言

---

在《ELK接入微服务工程》章节中实现了通过ELK对微服务日志收集查询管理工作，那么对于大型系统，特别是微服务设计下的分布式系统，我们的日志来源非常之多，如果直接通过logstash收集输出至elasticsearch很有可能会导致elasticsearch奔溃，如何进行有效的流量控制显得很重要，消息队列能够很好的解决此顾虑。Kafka具有很好的分布式扩容能力，且在高并发场景下优势明显，故本章将基于Kafka与ELK整合，部署架构如下：

本章概要

1、准备工作；

2、前置Logstash配置；

3、后置Logstash配置；

4、启动各组件服务验证；

准备工作

---

本次组件如下：

其中logstash-front与logstash-back对应上面的部署架构图。

前置Logstash配置

---

切换至D:\ELK\logstash-front-5.3.0\bin目录，修改logstash.conf配置如下：

input {

file {

path => "D:/learnworkspace/springcloud-netfilx-demo/springcloud-eureka-register/log/*.log"

}

stdin { }

}

filter {

}

output {

kafka{

topic_id => "syslog"

bootstrap_servers => "127.0.0.1:9092"

batch_size => 5

compression_type => "snappy"

}