厉害哥哥的博客

logstash是ELK日志管理服务的重要组件之一，本节内容我们实现使用kubesphere管理平台搭建一个可横向扩展的高可用logstash服务，用于日志收集。由于logstash是一个无状态的流处理软件，本身是没有集群方案的，我们这里只是做一个横向扩展。使用的镜像版本为logstash:8.1.3，这个要与前面elasticsearch的版本号一致，负责可能会有版本不兼容，发生未知的错误。

kibana是一款具有丰富操作功能的、用于管理elasticsearch的web管理界面，本节内容我们使用kubesphere平台搭建kibana在k8s环境下的应用服务，用于elasticsearch相关功能的操作。kibana也是ELK日志管理平台的重要组件之一。本节我们使用的kibana镜像是kibana:8.1.3，镜像要与elasticsearch的镜像服务版本配套，否则无法关联elasticsearch服务，话不多说，开始我们今天的实战吧。

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。本节内容我们使用kubesphere管理平台搭建一个k8s环境下的高可用的es集群服务。elasticsearch镜像选用的是最新的elasticsearch:8.1.3镜像，配置和以前的版本稍有不同。

引言正文结语

引言正文结语

前言本小节是我们kafka集群搭建，正文结语

引言本小节我们开始logstash服务的安装，这里要特别说明一下，作者并不是直接从前到后开始搭建这套ELK集群环境，而是以ES集群为核心，采用由点到面的搭建过程，因为其它的服务搭建过程大多数都是依赖elasticsearch的，我们搭建好了elasticsearch服务之后，相对来说，其它服务的正常与否和验证也就更加方便了。logstash其实本身就具有日志收集的能力，以及信息过滤处理等功能，但是为了使我们的日志收集系统更加高可用，发挥其性能优势，我们这里就采用了filebeat这款轻量级的日志收集器，

引言在实际的应用项目访问中我们一般都是通过nginx做服务的返向代理，并且使用nginx集群实现负载均衡，不必要完全暴露我们的服务。该篇我们通过nginx返向代理的方式访问我们的kibana服务。正文拉取镜像命令：docker pull nginx:stable-alpine-perl启动nginx服务，并设置为开机自启动命令：docker run --name elk-cluster-nginx -p 80:80 -v /elk/nginx:/kibana -d nginx:st

引言上篇中已经详细介绍了es集群的安装，该篇我们介绍一下kibana安装，将es集群集成到kibana中，这样就可以方便的查询、监控我们的es集群了。后续的kibana的使用，我们使用另外的章节介绍，这里不做详细的介绍，只是演示一下kibana的部分查询功能，证明我们的安装的kibana服务器是可以使用的。正文拉取镜像命令：docker pull kibana:7.11.1启动kibana服务，并设置为开机自启动命令：docker run --name elk-cluster-ki

引言上篇已经分享了我的ELK集群架构设计思路，从该篇起我们就进入实战环节。因为ELK中的应用大多数都是依赖elasticsearch的，所以我们搭建ELK集群的步骤就先从ES集群开始。ES是一个高可用的搜索引擎，我们搭建的ES集群通过分片副本同步方式保证了我们数据的存储安全性，同时也保证了我们数据的快速检索能力。我们的ES集群采用一个主节点，俩个数据节点的方式搭建，版本采用比较新的V7.11.1版本。正文 docker-compose方式创建es集群 这里我们通过docker-compo

引言前面的文章中我们已经搭建过了单机版本的ELK日志收集系统，可参考我的博客https://blog.youkuaiyun.com/yprufeng/article/details/114968340（docker搭建ELK单机版日志系统），从该篇起我将陆续推出EKL集群版本的日志系统搭建教程，该教程我会分为几个系列文章一一介绍，力求能够最大限度的完整性记录ELK集群的搭建过程。该集群我依然会采用docker容器的方式搭建，因为原理是一样的，这里就不准备虚拟机或者实体机作为搭建环境了，资源有限。闲话少说，在本篇中我

前言上篇文章(一)ELK单机版日志系统搭建——docker方式中，我们通过docker方式搭建了一个elk单机版的日志系统，相对来说步骤略显繁多，本篇我们通过docker-compose的方式，一键式搭建下我们的elk单机版本的日志系统，虽然我们要提前写好启动配置文件，但是后续的操作过程确实十分方便，话不多说，我们开始使用docker-compose搭建elk单机版日志系统。关于docker-compose的安装，可以参考我的文章docker环境下docker-compose安装高可用redis集群详解

前言在软件项目开发中，为了便于查找问题，快速定位问题，解决问题，我们会使用日志的方式记录程序的某些执行过程或者程序执行过程中发生的错误或者异常的信息。在本文中我们以springboot应用项目为例，通过logback的方式分别实现打印控制台日志、文本日志记录和ELK方式的日志。具体的日志配置信息在我的开源项目atp应用测试平台（https://gitee.com/northcangap/atp.git）中有详细的配置，可以供大家参考使用。本文的重点在于通过docker-compose工具搭建一个elk单