使用 Filebeat 收集日志

最新推荐文章于 2025-04-07 10:13:46 发布
原创 最新推荐文章于 2025-04-07 10:13:46 发布 · 7.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch #logstash #spring-boot #log4j2

本文档详细介绍了如何在Windows环境下安装和配置Filebeat，以及如何配合Log4j2和logstash进行日志收集。首先，文章说明了在Windows下安装Filebeat的步骤，包括注册为服务和命令行运行。接着，展示了Filebeat的日志输入和输出配置，强调了输出到logstash的设置。然后，介绍了Log4j2的配置，确保日志被正确输出到本地文件。最后，提到了logstash的简单配置，并展示了在Kibana中查看日志效果。

上一篇文章介绍了使用 kafka + logstash + elasticsearch 进行日志收集并展示，在本篇文章中，将介绍使用 filebeat 代替 kafka 进行日志收集。

安装 Filebeat

此处只介绍 Windows 下面的安装，至于其他系统， 请参考： 官方文档

下载并解压后，有两种方式运行，一种是注册为 Windows 服务，另一种是直接通过命令行运行；下面分别介绍两种方式。

注册为 Windows 服务

前提：系统必须有 PowerShell，因为官方安装包中提供的脚本只能在 PowerShell 中运行，若是 win10 系统，可忽略，因为它已经自带了 PowerShell， 否则请下载 PowerShell 并安装。

  1. 下载安装包 点我下载.
  2. 解压到以下目录： C:\Program Files 。
  3. 重命名 filebeat-<version>-windows 为 Filebeat 。
  4. 以 管理员 身份运行 PowerShell 。
  5. 在 PowerShell 中运行以下命令:
cd 'C:\Program Files\Filebeat'
C:\Program Files\Filebeat> .\install-service-filebeat.ps1

注：

如果此处提示你没有权限，请运行以下的命令注册 Filebeat 服务 ：

PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-filebeat
最低0.47元/天 解锁文章
日志数据同步工具filebeat和logstash介绍和使用
迷雾总会解
06-03 4870
官方介绍：Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景。
监控系统日志采集 - Filebeat
李木
01-03 2745
Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。是使用 Golang 实现的轻量型日志采集器，也是 Elasticsearch stack 里面的一员。本质上是一个 agent ，可以安装在各个节点上，根据配置读取对应位置的日志，并上报到相应的地方去。
ElasticSearch学习笔记之二：Filebeat日志收集
大龄IT民工
06-04 2144
可以使用上例中的配置文件，但是得到的日志同样是把抓取的日志都放到message里面，这就失去了调整格式的意义，因此我们需要将消息中的字段全部打散成多个键值，然后放到Elasticsearch中，在Kibana中查看时，可以查看任意的键值。从nginx端输出的日志就已经分割好了，filebeat只需要接收并提取json格式的信息，发送给Elasticsearch。采用filebeat的模块将日志分割成json格式，不修改nginx的原生日志格式。因此需要进行多行匹配，将原本分多行显示的日志整合到一起。
ELK7.1.1+FileBeat 收集日志.pdf
07-22
基础ElasticSearch7.1.1版本搭建日志收集框架；采用FileBeat采集log日志，通过logstash过滤后导入ES
Filebeat插件收集日志
07-03 758
filebeat 安装，配置，运行
Filebeat日志收集器
人丑就要多读书的博客
10-31 4248
Filebeat是用于“转发"和“集中日志数据”的“轻量型数据采集器"，用go语言开发，相比Logstash来说轻便。 Filebeat会监视指定的日志文件路轻，收集日志事件并将数据转发到Elasticsearch、Logstash、Redis、Kafka等存储服务器器 1.2 Filebeat主要组件 Filebeat包含两个主要组件，输入和收割机，两个组件协同工作将文件尾部最新数据发送出去 输入Input:输入负责管理收割机从哪个路径查找所有可读取的资源。 收割机Harvester:负责逐行读取单个
Elasticsearch中使用Filebeat插件采集容器日志
stone的专栏
03-10 1904
本文主要探讨如何使用filebeat插件收集k8s容器日志
使用FileBeat采集MQ日志到Elasticsearch时所需资料
03-22
本教程将详细介绍如何使用FileBeat来采集MQ（Message Queue）日志并将其存储到Elasticsearch。 首先，我们需要了解FileBeat的基本概念。FileBeat是由 Elastic 公司开发的开源工具，它是Logstash Forwarder的替代品...
浅谈filebeat实现日志采集
qq_38212260的博客
04-07 2677
学习向文章，感兴趣所以了解下。不涉及后续的日志存储分析，只是简单讲讲采集。
Filebeat 实时收集 Nginx 日志1
08-03
Filebeat 是 Elastic Stack 中的一员，它是轻量级的日志收集工具，特别适合于资源有限的服务器。相较于 Logstash，Filebeat 更加节省资源，启动快速，因此在实时收集 Nginx 日志等场景下，Filebeat 成为了首选。...
filebeat收集nginx日志的配置文件
02-11
本资源结合我的博客一并使用，用于解决filebeat收集nginx日志用的
ELK---filebeat日志收集工具
qq_51506982的博客
11-28 1194
filebeat也是日志收集工具，和logstash相同。
Filebeat日志采集
热门推荐
Diligent_ten的博客
03-17 1万+
Filebeat日志采集 Filebeat日志采集 一、软件介绍 Filebeat 1，概述 2，工作流程 3, 相关链接 二、安装部署 1，安装前准备 2，windows 3，linux 4，配置filebeat 1）filebeat模块 2）安装filebeat模块 3）配置filebeat 一、软件介绍 Filebeat 1，概述 File...
Filebeat采集日志讲解（一）
桃花惜春风
03-25 6352
在ELKF中，Filebeat作为日志采集端，采集日志并发送到kafka。input就是以文件形式存储的log文件，output就是kafka集群。 在采集日志中一般情况有以下几点需要注意的： 输出内容确定，一般包括时间戳，主机名，日志类型，日志内容，其他的根据业务的实际需求，无用信息可以直接过滤掉； 输出格式，一般使用json，需要自己拼成json格式； 多路径采集日志配置，同时采集多个服务的...
（八）Filebeat收集日志方法
Spider_xiaoma的博客
11-22 2492
Filebeat收集日志 input：日志输入，支持log（常用）、stdin、redis output：日志输出，支持elasticsearch、redis、logstash、kafka 1. log（从日志文件中收取日志） 示例： filebeat.inputs: - type: log paths: - /var/log/system.log - /var/log/wifi.log - type: log paths: - "/var/log/apache2/*".
filebeat日志收集
韩华盛博客
05-06 752
filebeat是一个用于转发和收集日志数据的轻量级托运工具，监控日志文件或指定的本地路径，收集日志事件，并转发到Elasticsearch和Logstash用于检索。Filebeat工作介绍：当启动Filebeat时，它启动一个或多个输入，这些输入查看为日志数据指定的位置。对于Filebeat定位的每个日志，Filebeat都会启动一个收集器。每个收集器读取单个日志以获取新内容，并将新日志数据发送给libbeat, libbeat聚合事件并将聚合的数据发送到为Filebea配置的输出。
windows添加filebeat收集日志
linux_s2018的博客
06-12 3637
一，下载filebeat https://www.elastic.co/cn/downloads/past-releases/filebeat-6-5-1 二，打开windows，上传压缩包到C盘，解压压缩包 三，配置filebeat.yml - type: log enabled: true encoding: utf-8 paths: - ...
日志收集框架：Filebeat
大连赵哥的博客
08-09 454
日志收集框架：Filebeat
logstash/filebeat只接收最近一段时间的数据
罗伯特是疯子丶
08-03 1617
elk只接收最近一段事件的数据的方式
k8s中使用filebeat收集日志时，将宿主机的ip配置到filebeat的环境变量中
最新发布
05-08
<think>好的，我现在需要帮助用户在Kubernetes中配置Filebeat，将宿主机IP设置为环境变量并收集日志。首先，我得回顾用户的问题和要求，确保理解正确。用户想在K8S的Filebeat配置中添加宿主机的IP作为环境变量，这样日志收集时能带上这个IP信息。同时，用户提到了之前的引用内容，虽然这些引用可能不完全相关，但需要从中提取有用的信息。 首先，我应该考虑如何在Kubernetes Pod中获取宿主机的IP。根据Kubernetes的知识，每个Pod启动时，Kubernetes会自动注入一些环境变量，其中包括宿主机的信息。例如，status.hostIP这个字段可能存储了宿主机的IP地址。用户可能需要通过Downward API来获取这个值，并将其作为环境变量传递到Filebeat容器中。 接下来，我需要确定如何在Filebeat的配置中使用这个环境变量。通常，Filebeat的配置文件（比如filebeat.yml）中可以使用环境变量，通过${ENV_VAR}的形式引用。因此，用户需要在Filebeat的配置中将host.ip设置为这个环境变量的值。同时，还需要确保Filebeat的DaemonSet或其他控制器正确部署，以便在每个节点上运行实例，收集宿主机和容器的日志。 然后，我需要考虑日志的收集路径。在Kubernetes中，容器的日志通常存储在宿主机的/var/log/containers目录下，而每个Pod的日志可能通过Volume挂载到宿主机。因此，Filebeat需要配置输入路径指向这些日志文件的位置，比如/var/log/containers/*.log。同时，可能需要使用add_kubernetes_metadata处理器来丰富日志信息，比如添加Pod名称、命名空间等标签。 另外，用户提到需要将宿主机IP作为环境变量，这可能需要在Filebeat的DaemonSet的YAML配置中定义环境变量。例如，在容器的env字段中添加一个字段，使用Downward API的fieldRef来获取status.hostIP。具体来说，可以创建一个环境变量HOST_IP，其值来自status.hostIP。这样，Filebeat容器启动时就能读取这个环境变量，并在配置文件中引用它。 然后，用户可能需要将宿主机IP添加到日志的字段中，这可以通过Filebeat的处理器或Elasticsearch的Ingest Pipeline来实现。例如，在Filebeat的配置中使用processors.add_fields来添加host_ip字段，值为环境变量HOST_IP的值。这样，每条日志都会包含宿主机的IP地址，便于后续在Kibana中筛选和分析。 还需要考虑权限问题，Filebeat容器可能需要访问宿主机的日志目录，因此需要配置正确的Volume挂载和文件权限。通常，DaemonSet会以特权模式运行，并挂载宿主机的/var/log目录到容器内的相应路径。 最后，可能需要验证配置是否生效。用户可以通过查看Elasticsearch中的索引，检查日志事件是否包含host_ip字段，并确认其值为正确的宿主机IP。此外，检查Filebeat的日志是否有错误，确保环境变量正确注入，配置文件语法正确，并且能够正常收集日志。 总结步骤： 1. 使用Downward API在Filebeat的Pod中获取宿主机IP作为环境变量。 2. 在Filebeat的配置文件中引用这个环境变量，设置host.ip或自定义字段。 3. 配置Filebeat的输入路径指向宿主机的日志目录。 4. 使用Kubernetes元数据处理器丰富日志信息。 5. 部署Filebeat为DaemonSet以确保每个节点都有实例运行。 6. 验证日志是否包含宿主机IP字段，并确认收集正常。 可能出现的问题包括环境变量未正确注入、路径配置错误、权限不足等，需要逐步排查。同时，参考用户提供的引用，尤其是引用[2]提到Filebeat在K8S中的优势，可能需要确保Filebeat配置与Elasticsearch兼容，并正确创建索引。</think>在Kubernetes中配置Filebeat收集日志并注入宿主机IP环境变量，需通过Downward API获取节点IP并传递给容器。以下是具体实现步骤： ### 1. 创建Filebeat DaemonSet配置 通过DaemonSet确保每个节点运行Filebeat实例，并挂载宿主机日志目录： ```yaml apiVersion: apps/v1 kind: DaemonSet metadata: name: filebeat namespace: logging spec: selector: matchLabels: app: filebeat template: metadata: labels: app: filebeat spec: containers: - name: filebeat image: docker.elastic.co/beats/filebeat:7.13.2 env: - name: HOST_IP # 注入宿主机IP环境变量 valueFrom: fieldRef: fieldPath: status.hostIP volumeMounts: - name: varlog mountPath: /var/log/containers readOnly: true - name: filebeat-config mountPath: /usr/share/filebeat/filebeat.yml subPath: filebeat.yml volumes: - name: varlog hostPath: path: /var/log/containers - name: filebeat-config configMap: name: filebeat-config ``` ### 2. 生成Filebeat配置文件 创建ConfigMap配置日志采集规则与字段映射： ```yaml apiVersion: v1 kind: ConfigMap metadata: name: filebeat-config namespace: logging data: filebeat.yml: | filebeat.inputs: - type: log paths: - /var/log/containers/*.log processors: - add_fields: # 添加宿主机IP字段 fields: host_ip: ${HOST_IP} cluster: "prod-k8s" target: "metadata" - add_kubernetes_metadata: host: ${NODE_NAME} matchers: - logs_path: logs_path: "/var/log/containers/" output.elasticsearch: hosts: ["elasticsearch:9200"] indices: - index: "filebeat-%{[metadata.cluster]}-%{+yyyy.MM.dd}" ``` ### 3. 关键配置解析 - **宿主机IP注入**：通过`status.hostIP`字段获取节点IP[^2] - **日志路径绑定**：挂载`/var/log/containers`目录采集所有Pod日志 - **动态字段映射**：使用`add_fields`处理器注入`host_ip`环境变量 - **索引自动分片**：按集群名称和日期创建索引，如`filebeat-prod-k8s-2023.07.25` ### 4. 验证配置有效性 通过以下命令检查日志字段： ```bash kubectl logs filebeat-xxxxx -n logging | grep "Host IP detected" ``` 成功状态下会输出： ``` 2023-07-25T03:15:42.123Z INFO instance/beat.go:665 Host IP detected: 192.168.1.100 ``` 在Kibana中查看日志事件的metadata字段应包含： ```json { "metadata": { "host_ip": "192.168.1.100", "cluster": "prod-k8s" } } ``` ### 5. 性能优化建议 - 设置资源限制防止资源竞争： ```yaml resources: limits: memory: 512Mi requests: cpu: 100m memory: 256Mi ``` - 启用日志轮转避免磁盘写满： ```yaml filebeat.registry: file: /var/lib/filebeat/registry flush: 300s ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值