环境与前言
centos7.x docker 20.x elk+filebeat 统一是7.14.0 本人大三,在一家小公司实习,最近公司里发版测试环境使用docker,觉得是时候学习一下docker了 于是学习了一下docker 不得不说上手之后很香。推荐到菜鸟教程学习,连接:Docker教程。学习完了部署了一下elk,也是在实习的时候接触到的,elk可以收集过滤分析日志,学习了一下。附上官网连接:ElasticSearch: 权威指南 Logstash 文档 Kibana 文档 Filebeat 文档 目前来说我只是单纯的使用,没有太过认真的去攻读这些文档,我只读了我用到的和一些配置的章节。以后有时间在慢慢学习下去吧,对这一块还算有点兴趣。
架构简介
简介与他们之间的联系
Elasticsearch
: 是一个分布式、RESTful 风格的搜索和数据分析引擎。Logstash
: 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。Kibana
: 是一个免费且开放的用户界面,能够让您对 Elasticsearch 数据进行可视化,并让您在 Elastic Stack 中进行导航。您可以进行各种操作,从跟踪查询负载,到理解请求如何流经您的整个应用,都能轻松完成。Filebeat
: 无论是从安全设备、云、容器、主机还是 OT 进行数据收集,Filebeat
都将为您提供一种轻量型方法,用于转发和汇总日志与文件,让简单的事情不再繁杂。
联系草图:
描述: 通过filebeat
从文件控制台等日志源中收集日志,发送给logstash
,logstash
进行过滤存储到elasticsearch
,kibana
重elasticsearch
中读取数据进行分析处理等。
个人认为日志这东西是非常重要的,开发过程中程序跑不完善的日志可以快速排查定位错误原因。线上就更不用说了,没有错误日志咋死的都不知道。用过log4j的都说好,本次实验就使用log4j将日志输出到文本中。然后通过filebeat收集日志,再通过filebeat输出到logstash,logstash有过滤的能力,在通过logstash输出到elasticsearch进行存储,在通过Kibana查看分析什么的。废话讲完下面开始操作。
镜像下载
说明也许多年后的你看到这篇文章这里的很多东西都已经过时了,但整个流程应该不会相差甚远,希望能帮你找到真个思路而不是ctrl cv。
ElasticSearch
docker 中查找镜像 docker search [你想找地镜像]
docker search elasticearch