ELK+Kafka分布式日志

最新推荐文章于 2024-08-09 15:57:23 发布

原创最新推荐文章于 2024-08-09 15:57:23 发布 · 459 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#ELK+Kafka分布式日志

本文详细介绍了如何使用ELK堆栈(Elasticsearch、Logstash、Kibana)与Kafka构建分布式日志系统，涵盖环境搭建、配置调整及测试验证，适用于多应用系统的日志集中管理和分析。

ELK+Kafka分布式日志

将所有的日志发送到一个平台

Elasticsearch 搜索引擎

Logstash 日志框架

Kibana 图形化界面

Kafka 消息中间件

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-S85SO00w-1572965103845)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\1572915269560.png)]$

多个应用系统将日志发送到一个平台Kafka上，通过Logstash（输入输出）导入到Elasticsearch库中，Kibana平台收集日志，查看日志。

Kafka 处理日志

RabbitMQ 处理事务

Redis 做缓存

ActiveMQ 消息队列，高并发

1.搭建Elasticsearch环境并测试:

打开虚拟机,输入指令

docker ps -a

docker start containerIp

(1)删除es的容器

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nuctn2cc-1572965103847)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\1572918414761.png)]$

(2)删除es的镜像

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZGnnzayg-1572965103847)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\1572918521750.png)]$

(3)宿主机调内存: 执行命令:sudo sysctl -w vm.max_map_count=655360

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MPkNaq18-1572965103847)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\1572918964044.png)]$

(4)通过ftp软件修改docker-compose.yml中的 mem_limit: 2048M （不动）
(5)找到虚拟机，执行命令:cd /home/…/springcloudV2.0/
执行命令:docker-compose up -d elasticsearch
(6)测试es：http://192.168.115.158:9200 出现es的版本号说明配置环境成功。

2.搭建logstash

(1)打开物料中logstash
步骤：进入logstash的容器
vi /usr/local/logstash-6.3.0/config/logstash.yml(修改连接es的ip)
修改成:

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.url: http://192.168.133.129:9200
xpack.monitoring.elasticsearch.username: elastic
xpack.monitoring.elasticsearch.password: changeme
xpack.monitoring.enabled: false

(2)vi /usr/local/logstash-6.3.0/bin/logstash.conf
修改ip以及加入日志参数

input{
     kafka{
        bootstrap_servers => ["192.168.115.158:9092"]
        group_id => "test-consumer-group"
        auto_offset_reset => "latest"
        consumer_threads => 5
        decorate_events => true
        topics => ["dm"]
        type => "bhy"
     }
}

output {
   elasticsearch{
     hosts=> ["192.168.115.158:9200"]
     index=> "dmservice-%{+YYYY.MM.dd}"
   }
   stdout{
     codec => json_lines
   }
}