基于Elasticsearch + Fluentd + Kibana（EFK）搭建日志收集管理系统

已于 2024-10-14 14:30:24 修改
阅读量1.2w 收藏 134
点赞数 88
CC 4.0 BY-SA版权
分类专栏： 网络编程与网络问题分享 C/C++实战专栏 文章标签： 日志管理系统 Elasticsearch Fluentd Kibana
于 2023-07-01 11:05:59 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/chenlycly/article/details/131487858
本文详细介绍了如何使用Elasticsearch、Fluentd和Kibana（EFK）搭建日志收集管理系统。Elasticsearch负责存储和索引，Fluentd处理数据传输，Kibana则用于数据展示。文章涵盖了EFK的系统架构、安装步骤和配置介绍，旨在帮助读者理解并实现日志管理系统的搭建过程。

目录

1、EFK简介

2、EFK框架

2.1、Fluentd系统架构

2.2、Elasticsearch系统架构

2.3、Kibana系统架构

3、Elasticsearch接口

4、EFK在虚拟机中安装步骤

4.1、安装elasticsearch

4.2、安装kibana

4.3、安装fluentd

4.4、进入kibana创建索引

5、Fluentd配置介绍

VC++常用功能开发汇总（专栏文章列表，欢迎订阅，持续更新...）icon-default.png?t=O83Ahttps://blog.youkuaiyun.com/chenlycly/article/details/124272585C++软件异常排查从入门到精通系列教程（专栏文章列表，欢迎订阅，持续更新...）

了解本专栏 订阅专栏 解锁全文
efk搭建入门教程
luckway的博客
07-20 4056
efk是什么 efk是Elasticsearch Filebeat Kibana 一套自动化收集日志的系统，官方网址：https://www.elastic.co/cn/ Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上，或者将 Beats 作为函数加以部署，然后便可在 Elastisearch 中集中处理数据。如果需要更加强大的处理性能，Beats 还能将数据输送到 Logstash 进行转换和解析。 Kibana 核心产品搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等
全面解析EFK日志管理系统部署流程
sozee910的博客
10-18 1892
本文详细介绍了EFK日志分析系统的部署过程，EFK是一套由Elasticsearch、Filebeat和Kibana组成的开源日志解决方案，广泛应用于日志数据的收集、存储、搜索和可视化分析。在部署过程中，文章特别强调了Elasticsearch和Kibana的集群配置，以及Filebeat如何高效地收集日志数据并发送到Elasticsearch。
Apache ZooKeeper日志聚合方案：使用Fluentd收集与分析日志
最新发布
gitblog_00785的博客
09-25 315
你还在为ZooKeeper集群日志分散难以管理而烦恼吗？当集群规模扩大到数十台服务器时，逐个登录节点查看日志不仅效率低下，更可能错过关键异常信息。本文将详细介绍如何通过Fluentd实现ZooKeeper日志的集中收集、实时分析与可视化监控，帮助运维人员快速定位问题，保障分布式系统稳定运行。 ## 一、ZooKeeper日志体系解析 ZooKeeper采用Logback作为日志框架，默认配置文...
EFK-一款轻量的日志分析系统
weixin_39345915的博客
06-22 1628
文章目录EFK(Elasticsearch+Filebeat+Kibana)安装Elasticsearch：安装kibana（一台）安装filebeat（需要收集日志的机器都装）： EFK(Elasticsearch+Filebeat+Kibana) 架构图： EFK分别代表Elasticsearch、Filebeat、Kibana，其中Elasticsearch负责日志保存和搜索，Filebeat负责收集日志，Kibana负责界面。EFK和ELK的区别在于把ELK的Logstash替换成了Filebe
基于Elasticsearch+Fluentd+Kibana的日志收集分析系统搭建与应用
热门推荐
swq的专栏
01-07 2万+
基于Elasticsearch+Fluentd+Kibana的日志系统搭建与应用随着互联网技术的发展，原来的单机发展到多机再到大规模集群，nginx，tomcat，openStack，docker容器等等，一个系统由大量的服务构成，其中每个应用与服务的日志分析管理也变得越来越重要。本文将介绍如何使用fd+es+ka搭建日志收集系统。关于具体介绍请参考官网： Fluentd： http://www.
Elasticsearch+Fluentd+Kibana 日志收集系统的搭建
qq_31366767的博客
10-24 685
*值得注意的是，fluent-plugin-elasticsearch 插件的版本应该和 elasticsearch 对应，我这边使用的elasticsearch 为7.6.2 则 fluent-plugin-elasticsearch 应该在 5.0.3，版本无法对应的话，fluent 启动时 将报 无法连接至elasticsearch，如下：**[在这里插入图片描述](https://img-blog.csdnimg.cn/1d4eb6e305e246409a2f31e0357bb8ef.png)
日志收集系统Elasticsearch，Fluentd ， Kibana
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
10-24 1万+
为什么做日志系统 首先，什么是日志？ 日志就是程序产生的，遵循一定格式（通常包含时间戳）的文本数据。 通常日志由服务器生成，输出到不同的文件中，一般会有系统日志、 应用日志、安全日志。这些日志分散地存储在不同的机器上。 通常当系统发生故障时，工程师需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下，首先需要定位处理请...
记一次K8s EFK(elasticsearch+fluentd+kibana)搭建排错经历
01-07
部署教程：https://qhh.me/2019/09/05/Kubernetes-基于-EFK-技术栈的日志收集实践/ yaml地址：https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch 部署教程里面的两个注意...
Elasticsearch+Fluentd+Kafka搭建日志系统
01-20
在日志管理领域，传统的ELK（Elasticsearch, Logstash, Kibana）堆栈正逐渐被EFK（Elasticsearch, Fluentd, Kafka）所取代，原因是Logstash在处理大量日志时可能消耗过多内存，而Fluentd在轻量级日志收集方面表现更...
学习笔记五：在k8s中安装EFK组件(elasticsearch+fluentd+kibana)
weixin_43258559的博客
08-06 1269
我们使用daemonset控制器部署fluentd组件，这样可以保证集群中的每个节点都可以运行同样fluentd的pod副本，这样就可以收集k8s集群中每个节点的日志，在k8s集群中，容器应用程序的输入输出日志会重定向到node节点里的json文件中。把elasticsearch-7-12-1.tar.gz和 fluentd-v1-9-1.tar.gz和 kibana-7-12-1.tar.gz上传到k8smaster1和k8snode1机器上，手动解压。
kubernetes-efk：设置Elasticsearch，Fluentd和Kibana（EFK）
02-22
Kubernetes上的弹性云 注意：Elasticstack中的命名空间已更改为logging 在此存储库中，我们将设置Elasticsearch和Kibana，然后设置Fluentd 松紧带 在本节中，我们将与Elasticsearch和Kibana一起设置elastitc运算符 在您的Kubernetes集群中部署ECK 安装自定义资源定义和操作员及其RBAC规则： kubectl apply -f elastic/all-in-one.yaml kubectl -n logging logs -f statefulset.apps/elastic-operator监视操作员日志： 部署Elasticsearch集群 应用简单的Elasticsearch集群规范，其中包含三个Elasticsearch节点： 部署kubectl apply -f elastic/elast
EFK堆栈：Elasticsearch + FluentD（Fluent-Bit）+ Kibana
02-20
Elasticsearch + FluentD（Fluent-Bit）+ Kibana 流利位适用于内部服务器。 中继（流利位）用于外部服务器。 FluentD适用于Office Server。 流利的位和FluentD 例子 $ make -e SSH=sshname rebuild-deploy 中继 对于Office Server，中继作为docker run 。 您应该在/relay文件夹中运行Makefile。 例子 relay$ make -e SSH=sshname rebuild-deploy
Elasticsearch、Fluentd与Kibana：开源的日志搜索与可视化方案
zstack_org的博客
11-09 6143
Elasticsearch、Fluentd与Kibana：开源的日志搜索与可视化方案提供：ZStack社区 前言Elasticsearch、Fluentd与Kibana的组合（EFK）可以进行日志数据的采集、索引、搜索以及可视化。该组合是商业软件Splunk的替代：Splunk在一开始用的时候也是免费的，但如果数据多了则需要收费。本文介绍如何用该组合构建你的日志解决方案。前提条件 安装了Ubuntu
Elasticsearch+Fluentd+Kibana整合全流程
qq_40448623的博客
09-22 1665
Elasticsearch+Fluentd+Kibana整合全流程 一、Docker安装Elasticsearch 1.1 创建一个网络名为logging且driver为bridge的网络 docker network create logging 1.2 创建单节点的Elasticsearch docker run -d --name elasticsearch --net logging -p 9200:9200 -p 9300:9300 -e TZ=Asia/Shanghai -e "discov
搭建EFK（elasticsearch + fluentd + kibana）日志系统
wjf8882300的专栏
12-30 7950
搭建EFK（elastic search + fluentd + kibana）日志系统 网上关于这一块的介绍已经有不少了，但发现基本介绍的都是在一台机器上的demo，实用性不强。事实上如果应用很简单，根本没必要搭建专门的日志系统来收集日志，直接看日志文件就好了。出现这种需求反而是大型系统或者微服务架构，有几十上百甚至上千台服务的时候，如果还是传统的到服务器上看日志，那就看不过来了。特别是集群环境...
k8s 日志收集，部署EFK-elasticsearch+fluentd+kibana
weixin_39603190的博客
10-26 2456
k8s 日志收集，部署EFK-elasticsearch+fluentd+kibana k8s集群搭建完成后，由于pod分布在不同node内，定位问题查看日志变得复杂起来，pod数量不多的情况下可以通过kubectl自带的log命令进行日志查询，随着pod数量的增加日志查询的繁琐度也是呈指数型增长，定位问题也变得异常困难。 现在迫切需要搭建一套集群日志收集系统，目前主流的两种系统： ELK：Filebeat（收集）、Logstash（过滤）、Kafka（缓冲）、Elasticsearch（存储）、Kiba
基于Elasticsearch+Fluentd+Kibana的日志收集分析系统
weixin_33693070的博客
07-14 308
我们平时分析log直接在日志文件中 grep、awk 就可以获得自己想要的信息，此方法效率低下，生产中需要集中化的日志管理，所有服务器上的日志收集汇总 Elasticsearch一个节点(node)就是一个Elasticsearch实例，一个集群(cluster)由一个或多个节点组成，它们具有相同的cluster.name，它们协同工作，分享数据和负载。当加入新的节点或者删除一个节点时，集群就会感...
Docker通过EFK（Elasticsearch + Fluentd + Kibana）查询日志
shykevin的博客
02-28 1719
一、概述 Elasticsearch是一个开源搜索引擎，以易用性着称。kibana是一个图形界面，可以在上面条件检索存储在ElasticSearch里数据，相当于提供了ES的可视化操作管理器。 fluentd fluentd是一个针对日志的收集、处理、转发系统。通过丰富的插件系统，可以收集来自于各种系统或应用的日志，转化为用户指定的格式后，转发到用户所指定的日志存储系统之中。 fluen...
给我安装es+fluentd+kibana的部署文档，
03-31
<think>好的，用户现在需要安装Elasticsearch、Fluentd和Kibana的部署文档，也就是通常所说的EFK堆栈。首先，我要确定用户的需求是什么。他们可能是在搭建一个日志管理系统，用来收集、存储和可视化日志数据。EFK是常用的组合，Fluentd负责日志收集和传输，Elasticsearch作为存储和搜索引擎，Kibana则提供可视化界面。 接下来，我需要考虑用户的技术背景。如果他们要求部署文档，可能有一定的系统管理经验，但可能对EFK的具体配置步骤不太熟悉。因此，文档需要详细但不过于复杂，步骤清晰，命令明确，避免使用晦涩难懂的术语。同时，用户可能是在Linux环境下部署，所以需要针对常见的Linux发行版，比如Ubuntu或CentOS。 然后，我要回忆之前用户的问题历史。之前他们询问过Filebeat处理多行日志的问题，现在转而使用Fluentd，可能是因为Filebeat在某些复杂场景下不能满足需求，比如更灵活的日志处理或插件支持。这也意味着用户可能对日志处理有较高的要求，需要更强大的工具，所以Fluentd的配置部分需要详细说明，特别是多行日志的处理，因为之前的问题涉及到这一点。 接下来，整理安装步骤。通常，EFK的部署包括安装每个组件，配置它们之间的通信，以及验证是否正常工作。需要注意各个组件的版本兼容性，推荐使用较新的稳定版本。比如，Elasticsearch 8.x，Kibana 8.x，Fluentd的td-agent 4.x。同时，安全性方面，Elasticsearch 8默认启用SSL，需要生成证书，或者根据用户需求调整安全设置。 对于Fluentd的配置，需要确保它能够正确地将日志发送到Elasticsearch。可能需要安装特定的插件，比如fluent-plugin-elasticsearch。此外，用户之前提到过多行日志处理，所以在Fluentd的配置中需要包含处理多行日志的部分，比如使用multiline插件，或者通过正则表达式来合并日志事件。 还需要考虑系统依赖和前置条件，比如Java环境对于Elasticsearch是必需的，需要检查是否安装合适版本的JDK。此外，系统内核参数的调整，比如vm.max_map_count，这对于Elasticsearch的性能和稳定性很重要。 在文档结构上，应该分步骤进行，每个组件的安装配置单独成章，最后整合验证。每个步骤给出具体的命令和配置文件示例，方便用户复制粘贴。同时，提供常见的故障排除方法，比如服务无法启动时的日志检查，端口占用情况，以及如何测试连接。 另外，用户可能是在生产环境部署，所以需要提到安全最佳实践，比如设置Elasticsearch的密码，配置防火墙规则，限制访问权限等。如果用户是在测试环境，可能需要简化安全配置，比如暂时禁用SSL，但需要明确指出不建议在生产环境这样做。 最后，验证部分需要指导用户如何通过Kibana界面查看日志，确认数据流动是否正常。可能还需要说明如何创建索引模式，进行基本的搜索和可视化操作，确保整个EFK堆栈运作正常。 总结一下，用户的真实需求不仅仅是安装步骤，而是能够顺利搭建一个可用的EFK日志系统，可能需要处理复杂日志，特别是多行日志的情况。因此，文档需要全面，涵盖安装、配置、安全、验证和常见问题处理，同时针对用户之前的问题，强调Fluentd在多行日志处理上的配置，确保他们能够顺利迁移或扩展现有的日志管理方案。</think>以下是 **Elasticsearch + Fluentd + Kibana (EFK)** 的详细部署文档，适用于 Linux 环境（Ubuntu/CentOS）： --- ### 一、**前置条件** 1. 操作系统：Ubuntu 20.04+ / CentOS 7+ 2. 内存：至少 4GB（推荐 8GB+） 3. Java 环境：Elasticsearch 需要 JDK 11+ ```bash sudo apt update && sudo apt install openjdk-11-jdk -y # Ubuntu sudo yum install java-11-openjdk-devel -y # CentOS ``` --- ### 二、**Elasticsearch 部署** #### 1. 安装 Elasticsearch 8.x ```bash # 添加 El
评论 66
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

dvlinker

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值