基于Elasticsearch + Fluentd + Kibana（EFK）搭建日志收集管理系统

已于 2024-10-14 14:30:24 修改
阅读量1.2w 收藏 135
点赞数 88
CC 4.0 BY-SA版权
分类专栏： 网络编程与网络问题分享 C/C++实战专栏 文章标签： 日志管理系统 Elasticsearch Fluentd Kibana
于 2023-07-01 11:05:59 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/chenlycly/article/details/131487858
本文详细介绍了如何使用Elasticsearch、Fluentd和Kibana（EFK）搭建日志收集管理系统。Elasticsearch负责存储和索引，Fluentd处理数据传输，Kibana则用于数据展示。文章涵盖了EFK的系统架构、安装步骤和配置介绍，旨在帮助读者理解并实现日志管理系统的搭建过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文
【EFK】k8s部署ElasticSearch+Fluentd+Kibana进行日志收集
Marcos921的博客
01-20 1039
通过结合Elasticsearch的存储和搜索功能、Fluentd的采集和处理功能以及Kibana的展示和分析功能，开发者可以实现日志的收集、存储、搜索、分析和可视化。在子配置文件中设置时间戳格式，并在子配置文件中定义使用kubernetes插件，根据日志中的pod信息查对应k8s信息，并在日志中增加k8s信息，并配置logstash格式输出。编写yaml创建ES的Service，使用有状态应用StatefulSet创建ES集群，使用NFS做PV，存储ES数据到PV中。Kibana版本：7.2.0。
学习笔记五：在k8s中安装EFK组件(elasticsearch+fluentd+kibana)
weixin_43258559的博客
08-06 1180
我们使用daemonset控制器部署fluentd组件，这样可以保证集群中的每个节点都可以运行同样fluentd的pod副本，这样就可以收集k8s集群中每个节点的日志，在k8s集群中，容器应用程序的输入输出日志会重定向到node节点里的json文件中。把elasticsearch-7-12-1.tar.gz和 fluentd-v1-9-1.tar.gz和 kibana-7-12-1.tar.gz上传到k8smaster1和k8snode1机器上，手动解压。
记一次K8s EFK(elasticsearch+fluentd+kibana)搭建排错经历
01-07
部署教程：https://qhh.me/2019/09/05/Kubernetes-基于-EFK-技术栈的日志收集实践/ yaml地址：https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch 部署教程里面的两个注意 Elasticsearch 数据持久化：默认 EmptyDir 的方
基于Elasticsearch+Fluentd+Kibana的日志收集分析系统搭建与应用
热门推荐
swq的专栏
01-07 2万+
基于Elasticsearch+Fluentd+Kibana的日志系统搭建与应用随着互联网技术的发展，原来的单机发展到多机再到大规模集群，nginx，tomcat，openStack，docker容器等等，一个系统由大量的服务构成，其中每个应用与服务的日志分析管理也变得越来越重要。本文将介绍如何使用fd+es+ka搭建日志收集系统。关于具体介绍请参考官网： Fluentd： http://www.
EFK架构日志采集系统
最新发布
jiedaodezhuti的博客
06-13 889
‌Filebeat‌：轻量级日志采集器，实时监控文件/目录变化，高效转发日志数据（资源占用仅为 Logstash 的 1/10）。‌生产建议‌：日志量 > 10GB/天时，采用 Filebeat → Kafka → Logstash（过滤）→ ES 架构提升可靠性。‌ 版本兼容性‌：确保 Elasticsearch、Kibana、Filebeat ‌大版本一致‌（如 7.x）。‌DaemonSet 部署 Filebeat‌：每个节点部署一个 Filebeat Pod，采集节点所有容器日志。
Elasticsearch+Fluentd+Kibana 日志收集系统的搭建
qq_31366767的博客
10-24 521
*值得注意的是，fluent-plugin-elasticsearch 插件的版本应该和 elasticsearch 对应，我这边使用的elasticsearch 为7.6.2 则 fluent-plugin-elasticsearch 应该在 5.0.3，版本无法对应的话，fluent 启动时 将报 无法连接至elasticsearch，如下：**[在这里插入图片描述](https://img-blog.csdnimg.cn/1d4eb6e305e246409a2f31e0357bb8ef.png)
日志收集系统Elasticsearch，Fluentd ， Kibana
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
10-24 1万+
为什么做日志系统 首先，什么是日志？ 日志就是程序产生的，遵循一定格式（通常包含时间戳）的文本数据。 通常日志由服务器生成，输出到不同的文件中，一般会有系统日志、 应用日志、安全日志。这些日志分散地存储在不同的机器上。 通常当系统发生故障时，工程师需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下，首先需要定位处理请...
Elasticsearch、Fluentd与Kibana：开源的日志搜索与可视化方案
zstack_org的博客
11-09 6099
Elasticsearch、Fluentd与Kibana：开源的日志搜索与可视化方案提供：ZStack社区 前言Elasticsearch、Fluentd与Kibana的组合（EFK）可以进行日志数据的采集、索引、搜索以及可视化。该组合是商业软件Splunk的替代：Splunk在一开始用的时候也是免费的，但如果数据多了则需要收费。本文介绍如何用该组合构建你的日志解决方案。前提条件 安装了Ubuntu
搭建EFK（elasticsearch + fluentd + kibana）日志系统
wjf8882300的专栏
12-30 7904
搭建EFK（elastic search + fluentd + kibana）日志系统 网上关于这一块的介绍已经有不少了，但发现基本介绍的都是在一台机器上的demo，实用性不强。事实上如果应用很简单，根本没必要搭建专门的日志系统来收集日志，直接看日志文件就好了。出现这种需求反而是大型系统或者微服务架构，有几十上百甚至上千台服务的时候，如果还是传统的到服务器上看日志，那就看不过来了。特别是集群环境...
基于Elasticsearch+Fluentd+Kibana的日志收集分析系统
weixin_33693070的博客
07-14 289
我们平时分析log直接在日志文件中 grep、awk 就可以获得自己想要的信息，此方法效率低下，生产中需要集中化的日志管理，所有服务器上的日志收集汇总 Elasticsearch一个节点(node)就是一个Elasticsearch实例，一个集群(cluster)由一个或多个节点组成，它们具有相同的cluster.name，它们协同工作，分享数据和负载。当加入新的节点或者删除一个节点时，集群就会感...
Elasticsearch+Fluentd+Kafka搭建日志系统
01-20
在日志管理领域，传统的ELK（Elasticsearch, Logstash, Kibana）堆栈正逐渐被EFK（Elasticsearch, Fluentd, Kafka）所取代，原因是Logstash在处理大量日志时可能消耗过多内存，而Fluentd在轻量级日志收集方面表现更...
kubernetes-efk：设置Elasticsearch，Fluentd和Kibana（EFK）
02-22
Kubernetes上的弹性云 注意：Elasticstack中的命名空间已更改为logging 在此存储库中，我们将设置Elasticsearch和Kibana，然后设置Fluentd 松紧带 在本节中，我们将与Elasticsearch和Kibana一起设置elastitc运算符 在您的Kubernetes集群中部署ECK 安装自定义资源定义和操作员及其RBAC规则： kubectl apply -f elastic/all-in-one.yaml kubectl -n logging logs -f statefulset.apps/elastic-operator监视操作员日志： 部署Elasticsearch集群 应用简单的Elasticsearch集群规范，其中包含三个Elasticsearch节点： 部署kubectl apply -f elastic/elast
EFK堆栈：Elasticsearch + FluentD（Fluent-Bit）+ Kibana
02-20
Elasticsearch + FluentD（Fluent-Bit）+ Kibana 流利位适用于内部服务器。 中继（流利位）用于外部服务器。 FluentD适用于Office Server。 流利的位和FluentD 例子 $ make -e SSH=sshname rebuild-deploy 中继 对于Office Server，中继作为docker run 。 您应该在/relay文件夹中运行Makefile。 例子 relay$ make -e SSH=sshname rebuild-deploy
Elasticsearch+Fluentd+Kibana整合全流程
qq_40448623的博客
09-22 1628
Elasticsearch+Fluentd+Kibana整合全流程 一、Docker安装Elasticsearch 1.1 创建一个网络名为logging且driver为bridge的网络 docker network create logging 1.2 创建单节点的Elasticsearch docker run -d --name elasticsearch --net logging -p 9200:9200 -p 9300:9300 -e TZ=Asia/Shanghai -e "discov
Elasticsearch+Fluentd+Kibana+docker-compose容器日志监控
weixin_30497527的博客
10-24 335
核心思路： Elasticsearch+Kibana部署在单独的服务器上，Fluentd运行在承载docker容器的服务器上，通过容器内置参数logging driver来获取日志， docker-elastickibana.yml version: '2' services: elasticsearch: image: docker.elastic.co/e...
EFK日志系统搭建
codeLife1993的博客
06-04 244
EFK日志系统搭建 安装 elasticsearch-7.8.0 pull 镜像命令如下: docker pull elasticsearch:7.8.0 pull 镜像命令如下: docker run --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -d elasticsearch:7.8.0 检查es是否安装完成 是否有进程 docker ps -a .
搭建EFK日志分析系统
weixin_44898311的博客
11-25 886
搭建EFK日志分析系统 背景 这篇文章偏向运维，在我们开发中，日志对于我们来说非常重要，发现问题以及排查问题的必需品。项目在部署一台或者两台的时候我们可以通过Xshell来查看日志。一旦项目部署多台机器之后，我们看日志是非常麻烦的。ELK可以帮助我们来查看日志。elastic官网，EFK有很多产品我们需要下载 elasticsearch，filebeat，kibana，logstash。还需要下载一个jdk（最低版本为1.8），elasticsearch的运行需要jdk的支持（elasticsea.
（实战）docker-compose部署分布式日志方案EFK(Elasticsearch+Fluentd+Kibana)
不积跬步无以至千里
10-21 2143
采集SpringCloud的Logback日志为例，使用Docker容器化技术快速部署EFK实现分布式日志管理。项目地址：https://github.com/huangyang1230/springboot_efk.git
给我安装es+fluentd+kibana的部署文档，
03-31
<think>好的，用户现在需要安装Elasticsearch、Fluentd和Kibana的部署文档，也就是通常所说的EFK堆栈。首先，我要确定用户的需求是什么。他们可能是在搭建一个日志管理系统，用来收集、存储和可视化日志数据。EFK是常用的组合，Fluentd负责日志收集和传输，Elasticsearch作为存储和搜索引擎，Kibana则提供可视化界面。 接下来，我需要考虑用户的技术背景。如果他们要求部署文档，可能有一定的系统管理经验，但可能对EFK的具体配置步骤不太熟悉。因此，文档需要详细但不过于复杂，步骤清晰，命令明确，避免使用晦涩难懂的术语。同时，用户可能是在Linux环境下部署，所以需要针对常见的Linux发行版，比如Ubuntu或CentOS。 然后，我要回忆之前用户的问题历史。之前他们询问过Filebeat处理多行日志的问题，现在转而使用Fluentd，可能是因为Filebeat在某些复杂场景下不能满足需求，比如更灵活的日志处理或插件支持。这也意味着用户可能对日志处理有较高的要求，需要更强大的工具，所以Fluentd的配置部分需要详细说明，特别是多行日志的处理，因为之前的问题涉及到这一点。 接下来，整理安装步骤。通常，EFK的部署包括安装每个组件，配置它们之间的通信，以及验证是否正常工作。需要注意各个组件的版本兼容性，推荐使用较新的稳定版本。比如，Elasticsearch 8.x，Kibana 8.x，Fluentd的td-agent 4.x。同时，安全性方面，Elasticsearch 8默认启用SSL，需要生成证书，或者根据用户需求调整安全设置。 对于Fluentd的配置，需要确保它能够正确地将日志发送到Elasticsearch。可能需要安装特定的插件，比如fluent-plugin-elasticsearch。此外，用户之前提到过多行日志处理，所以在Fluentd的配置中需要包含处理多行日志的部分，比如使用multiline插件，或者通过正则表达式来合并日志事件。 还需要考虑系统依赖和前置条件，比如Java环境对于Elasticsearch是必需的，需要检查是否安装合适版本的JDK。此外，系统内核参数的调整，比如vm.max_map_count，这对于Elasticsearch的性能和稳定性很重要。 在文档结构上，应该分步骤进行，每个组件的安装配置单独成章，最后整合验证。每个步骤给出具体的命令和配置文件示例，方便用户复制粘贴。同时，提供常见的故障排除方法，比如服务无法启动时的日志检查，端口占用情况，以及如何测试连接。 另外，用户可能是在生产环境部署，所以需要提到安全最佳实践，比如设置Elasticsearch的密码，配置防火墙规则，限制访问权限等。如果用户是在测试环境，可能需要简化安全配置，比如暂时禁用SSL，但需要明确指出不建议在生产环境这样做。 最后，验证部分需要指导用户如何通过Kibana界面查看日志，确认数据流动是否正常。可能还需要说明如何创建索引模式，进行基本的搜索和可视化操作，确保整个EFK堆栈运作正常。 总结一下，用户的真实需求不仅仅是安装步骤，而是能够顺利搭建一个可用的EFK日志系统，可能需要处理复杂日志，特别是多行日志的情况。因此，文档需要全面，涵盖安装、配置、安全、验证和常见问题处理，同时针对用户之前的问题，强调Fluentd在多行日志处理上的配置，确保他们能够顺利迁移或扩展现有的日志管理方案。</think>以下是 **Elasticsearch + Fluentd + Kibana (EFK)** 的详细部署文档，适用于 Linux 环境（Ubuntu/CentOS）： --- ### 一、**前置条件** 1. 操作系统：Ubuntu 20.04+ / CentOS 7+ 2. 内存：至少 4GB（推荐 8GB+） 3. Java 环境：Elasticsearch 需要 JDK 11+ ```bash sudo apt update && sudo apt install openjdk-11-jdk -y # Ubuntu sudo yum install java-11-openjdk-devel -y # CentOS ``` --- ### 二、**Elasticsearch 部署** #### 1. 安装 Elasticsearch 8.x ```bash # 添加 El
评论 66
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

dvlinker

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值