带着三年前分分钟搞定环境的优越感,在新的系统环境里重新搭建一套分布式日志采集系统,着实给自己坑了一把,今天把踩到的坑和经验总结一下,希望帮到后来的小伙伴。
先上一张成功的截图,喜悦一把:)
==================================华丽丽的分割线===========================================
首先到elastic官网https://www.elastic.co/cn/downloads/下载使用到的组件 并上传到准备安装的服务器。由于本次安装的环境在阿里云上,所以不用解决错综复杂的网络环境,默认服务器间是在一个局域网中的,无需打通网络环境。
部署架构如下图:
当前在测试环境搭了一套单点的服务,下面的内容为单点情况下部署的步骤,之后会补充集群的部署情况。
部署流程:
一、filebeat
下载解压filebeat到微服务的部署环境当中
修改配置文件filebeat.yml
修改input->paths->,将采集的日志文件地址添加进去,可以使用/* 等通配符,请自行查阅!因为是输出到kafka,所以输出配置如下: