filebeat修改自带modules模版

最新推荐文章于 2025-06-02 09:18:23 发布
原创 最新推荐文章于 2025-06-02 09:18:23 发布 · 1.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#nginx #运维 #服务器

Filebeat针对流行应用集成了大量的module，方便直接拿来使用收集日志比如

[root@ecs-nginx2 ingest]# filebeat modules list
Enabled:
nginx

Disabled:
activemq
apache
auditd
aws
awsfargate
azure
barracuda
bluecoat
cef
checkpoint
cisco
coredns
crowdstrike
cyberark
cyberarkpas
cylance
elasticsearch
envoyproxy
f5
fortinet
gcp
google_workspace
googlecloud
gsuite
haproxy
ibmmq
icinga
iis
imperva
infoblox
iptables
juniper
kafka
kibana
logstash
microsoft
misp
mongodb
mssql
mysql
mysqlenterprise
nats
netflow
netscout
o365
okta
oracle
osquery
panw
pensando
postgresql
proofpoint
rabbitmq
radware
redis
santa
snort
snyk
sonicwall
sophos
squid
suricata
system
threatintel
tomcat
traefik
zeek
zookeeper
zoom
zscaler

这里可以看到支持的module和已经启用的module，但是有时候默认的模版不能完全满足需求，就得自己修改达到需要，比如我已经自定义了nginx-access.log的日志输出格式为如下，按默认模版会无法解析

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"'
                      ' "$upstream_addr" "$upstream_response_time" "$request_time" "$http_host"';

如果使用yum或者rpm安装的filebeat，module的路径在/usr/share/filebeat/module/下，以我当前需要修改的nginx的access日志为例路径是/usr/share/filebeat/module/nginx/access/ingest/pipeline.yml

将grok字段改为这样，可以对应上修改后的日志

- grok:
    field: event.original
    patterns:
    - (%{NGINX_HOST} )?"?(?:%{NGINX_ADDRESS_LIST:nginx.access.remote_ip_list}|%{NOTSPACE:source.address})
      - (-|%{DATA:user.name}) \[%{HTTPDATE:nginx.access.time}\] "%{DATA:nginx.access.info}"
      %{NUMBER:http.response.status_code:long} %{NUMBER:http.response.body.bytes:long}
      "(-|%{DATA:http.request.referrer})" "(-|%{DATA:user_agent.original})" "(-|%{DATA:nginx.access.xff})" "(-|%{DATA:nginx.access.upstream_addr})" "%{NUMBER:nginx.access.upstream_response_time:float}" "%{NUMBER:nginx.access.request_time:float}" "%{DATA:nginx.access.http_host}"


192.168.0.10 - - [18/Nov/2022:03:50:50 +0800] "GET /a/b/c.png HTTP/1.1" 200 93094 "-" "Zabbix" "111.111.111.111" "192.168.0.104:9999" "0.001" "0.008" "a.b.com"

修改完成后在module已经启用的情况下使用命令filebeat setup --pipelines --modules=nginx进行在线更新

如果第一次启用module，使用命令filebeat modules enable nginx

Filebeat配置module采集nginx日志
qq_28834355的博客
08-27 2319
环境 CentOS 7.3 Filebeat 7.6.0 （Filebeat安装和基本使用参考这里） Elasticsearch 7.6.0 Nginx Module Filebeat集成了大量的module，可以简化我们的配置，命令如下 查看module列表 cd /usr/local/filebeat-7.6.0-linux-x86_64 ./filebeat modules list #输出如下： Enabled: Disabled: activemq apache auditd aws az
Filebeat modules 你真正理解了吗？
叱咤少帅的博客
04-09 6431
需求 比如我们有这样一个需求，我们需要把 Nginx的 access 日志采集到ElasticSearch，并且能细粒度化的控制。换句话说 我们需要切分Nginx的日志，比如remote_addr，upstream_response_time 等需要切成JSON格式。 分析 对于这个需求，我们自然想到如下几个方案: (1)把 Access日志 定义成logstash_json，...
Elastic Logstash 整合 Filebeat 模块与 Kafka 的完整指南
最新发布
gitblog_00367的博客
06-02 401
Elastic Logstash 整合 Filebeat 模块与 Kafka 的完整指南 前言 在现代日志处理架构中，Kafka 常被用作消息队列来缓冲和传输日志数据。本文将详细介绍如何配置 Elastic Stack 中的 Logstash 与 Filebeat 模块，通过 Kafka 实现高效的日志收集、处理和可视化方案。 核心组件介绍 Filebeat 模块 Filebeat 模块是预定义的...
Filebeat 使用 Modules 方式收集日志
王清欢的博客
03-11 5306
01 Filebeat模块配置 Filebeat中Modules配置官方文档：官方配置文档 filebeat配置文件/etc/filebeat/filebeat.yml，配置模块路径 # =========================== Filebeat modules ================================ filebeat.config.modules: # Glob pattern for configuration loading path: ${path.c
ELK之使用filebeat收集系统数据及其他程序并生成可视化图表
abtmh02622的专栏
03-30 279
　　当您要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，请告别 SSH 吧。Filebeat 将为您提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。 　　1,安装filebeat rpm -ivh /nas/nas/softs/elk/6.5.4/filebeat-6.5.4-x86_64.rpm 　　查看模块 [root@pr...
Beats：运用 Filebeat module 分析 nginx 日志
Elastic 中国社区官方博客
09-28 7365
在之前的文章中，我介绍了如何使用Filebeat把一个日志文件直接写入到Elasticsearch中，或通过Logstash的方法写到Elasticsearch中。在今天的文章中，我们来介绍如何运用Filebeat模块来把nginx日志导入到Elasticsearch中，并进行分析。 Filebeat模块为您提供了一种快速处理常见日志格式的快速方法。 它们包含默认配置，Elasticsearch...
filebeat使用module收集nginx.system日志
爱吃鱼的小明的博客
09-12 436
filebeat 1启用module filebeat modules enable system filebeat modules enable nginx 2.编辑filebeat.yml [filebeat]# cat filebeat.yml filebeat.config.modules: path: ${path.config}/modules.d/system.yml reload.enabled: false output.logstash: hosts: ["10.0.
filebeat使用module收集mysql慢查询日志（十一）
江晓龙的博客
07-07 2016
filebeat使用module收集mysql日志 mysql主要收集慢查询日志和error日志 1.安装mysql 1.安装mysql [root@mysql ~]# yum -y install mariadb-server 2.修改配置文件制定数据存放路径 [root@mysql ~]# vim /etc/my.cnf [mysqld] datadir=/data/mysql socket=/var/lib/mysql/mysql.sock symbolic-links=0 [mysqld_safe
Filebeat自定义index和fields
m0_60725291的博客
06-25 3654
filebeat自定义索引名，filebeat索引模板，filebeat更改mapping字段类型
filebeat自定义elasticsearch索引
u013845177的博客
12-14 1117
filebeat.inputs: - type: log enabled: true fields: type: "info" paths: - D:\ideaWorkspace\demo\info\*.log multiline.pattern: ^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2} multiline.negate: true multiline.match: after - type: .
Filebeat 模块与配置
weixin_34375233的博客
08-20 446
续 • 《开始使用Filebeat》 1.  关于Filebeat 当你要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，请告别 SSH 吧！Filebeat 将为你提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。 关于Filebeat，记住两点： 轻量级日志采集器 输送至 Elasticsearch 或 Logstash，在 Kibana 中实...
【运维知识大神篇】超详细的ELFK日志分析教程7（filebeat常用模块+filebeat采集固定格式日志+自定义日志格式写入ES+EFK架构转ELFK架构+两个业务实战练习）
吾日三省吾身，想出类拔萃，要把知识学牢，学全，学深，学广。
11-30 1999
虽然写入了索引，但是我们需要自定义索引的名称及其他内容，可以在filebeat中自定义索引模板，还是用我们二进制软件包解压的filebeat。注意，自定义模板的时候不要有比这个模板匹配范围更广的模板，否则会出问题。1、编辑filebeat配置文件hosts:# 配置索引的名称# 禁用索引的生命周期管理。
FileBeat自定义index名称
Why Do You Run
05-21 4715
FileBeat的版本为7.3.2，版本不同添加的参数不同！！！ 为何要自定义模板？ 因为我们在使用Kibana的时候有许多我们不需要分析的字段，这些字段的来源就是我们没有自定义FileBeat模板，FileBeat自带了N++个字段。 编辑filebeat.yml文件，在output.elasticesearch模块下添加下面配置： #-------------------------- Elasticsearch output ------------------------------ output.
ElasticSearch六：搜索模板与suggest search（自动补全）、地图位置检索功能实现、FileBeat与LogSteash使用
Xx__WangQi的博客
03-22 1262
ElasticSearch六：搜索模板与suggest search（自动补全）、地图位置检索功能实现、FileBeat与LogSteash使用 search template 搜索模板，search template，高级功能，就可以将我们的一些搜索进行模板化，然后的话，每次执行这个搜索，就直接调用模板，给传入一些参数就可以了 template入门案例 简单定义参数并传递 GET /cars/_search/template { "source" : { "query" : { "match"
filebeat自定义pipeline名字(module的pipeline无法自定义名字)
madonghyu的博客
12-16 1933
filebeats自定义pipeline名字，当时filebeat的module的pipeline无法自定义名字
Filebeat详细介绍，下载和启动，日志读取和模块设置等
热门推荐
生夏夏的博客
06-14 1万+
Filebeat是一个轻量级的日志采集器当我们的元数据没办法支撑我们的业务时，我们还可以自定义添加一些字段tags: [ "web" , "test" ] #添加自定义tag，便于后续的处理 fields: #添加自定义字段 from: web-testfields_under_root: true #true为添加到根节点，false为添加到子节点中 setup.template.settings:添加完成后，重启 filebeat然后添加新的数据到 test.log中。
ELK之filebeat使用默认模块收集日志
qianyidui的博客
12-23 672
filebeat使用自带模块收集Nginx默认日志 1、开启filebeat配置中的nginx模块 filebeat modules enable nginx #================================ inputs ===================================== #============================= Filebeat...
关于Filebeat模块配置详解
weixin_48226988的博客
12-01 5157
1. 关于Filebeat 当你要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，请告别 SSH 吧！Filebeat 将为你提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。 关于Filebeat，记住两点： 轻量级日志采集器 输送至 Elasticsearch 或 Logstash，在 Kibana 中实现可视化 2. Filebeat是如何工作的 Filebeat由两个主要组件组成：inputs 和 harvesters （直译：收割机，采集器）。这些组件一起工作
20.ELK-filebeat模块功能收集nginx的普通格式日志
JCWang的博客
07-20 572
filebeat收集nginx的普通格式日志 开通nginx的模块功能 1.开通nginx的模块功能 filebeat modules enable nginx #使用最简单的方式 cd /etc/filebeat/modules.d/ mv nginx.yml.disabled nginx.yml 2、检查是否开启成功 filebeat modules list 修改nginx模块的配置文件 cd /etc/filebeat/modules.d/ vim nginx.yml 把nginx的日志格式还原
filebeat.config.modules:
02-20
<think>好的，我现在需要帮助用户理解Filebeat中的`filebeat.config.modules`配置。用户之前询问了关于双节点四台服务器部署Filebeat到Kafka的问题，现在他们接着问到了`filebeat.config.modules`，这可能意味着他们想进一步了解如何配置模块或者优化日志收集。 首先，我应该回忆一下Filebeat模块的作用。模块是预设的配置集，用于快速集成常见的日志类型，比如Nginx、MySQL、系统日志等。用户可能希望知道如何启用这些模块，或者是否需要在配置文件中使用这个参数。 接下来，我需要确定`filebeat.config.modules`的具体用法。根据官方文档，这个配置项是用来指定模块的配置文件路径的，通常默认情况下Filebeat会从`modules.d`目录加载模块配置。用户可能想知道如何手动配置这个参数，或者是否需要修改它。 然后，考虑用户的实际使用场景。用户之前配置了Filebeat推送日志到Kafka，可能现在需要收集特定服务的日志，比如Nginx或MySQL。这时候，使用模块可以简化配置，用户可能想了解如何启用这些模块，并确保它们与现有的Kafka输出配置兼容。 需要解释模块的基本结构，包括输入配置、处理器和仪表板等。同时，用户可能关心是否需要每个服务器都配置模块，特别是如果他们的四台服务器有不同的角色（比如有的运行Web服务，有的运行数据库），可能需要不同的模块配置。 还要注意用户可能的误区，比如是否必须使用模块，或者模块和自定义配置之间的关系。需要说明模块是可选功能，用户可以根据需求选择使用模块还是手动配置。 此外，用户可能想知道如何启用和禁用模块，以及如何验证模块是否正确加载。可能需要提供具体的命令示例，比如`filebeat modules enable nginx`和如何编辑模块的配置文件。 最后，确保回答清晰，结构合理，涵盖模块的作用、配置方法、使用场景以及注意事项。可能需要举几个常用模块的例子，帮助用户更好地理解如何应用在他们的环境中。</think>在 Filebeat 中，`filebeat.config.modules` 是用于配置和管理 **Filebeat 模块（Modules）** 的核心参数。模块是 Filebeat 提供的一种预设集成方案，目的是快速收集、解析和可视化特定服务（如 Nginx、MySQL、Redis 等）的日志，而无需手动编写复杂的配置。 --- ### **1. 模块的作用** Filebeat 模块通过预定义的配置模板，自动完成以下任务： - **日志采集**：指定服务的默认日志路径（如 Nginx 的 `/var/log/nginx/access.log`）。 - **字段解析**：通过 Ingest Pipeline 或 processors 提取结构化字段（如 HTTP 状态码、数据库查询时间）。 - **仪表板集成**：生成 Kibana 仪表板（需配合 Elasticsearch 和 Kibana 使用）。 --- ### **2. 模块的配置方式** 默认情况下，Filebeat 的模块配置文件存储在 `/etc/filebeat/modules.d/` 目录下（路径可能因系统而异）。每个模块对应一个 YAML 文件（如 `nginx.yml`、`mysql.yml`）。 #### **启用/禁用模块** - **命令行操作**： ```bash # 启用模块（例如 Nginx） filebeat modules enable nginx # 禁用模块 filebeat modules disable nginx ``` 此命令会修改 `/etc/filebeat/modules.d/nginx.yml` 中的 `enabled: true/false`。 - **手动修改配置文件**： ```yaml # /etc/filebeat/modules.d/nginx.yml - module: nginx access: enabled: true var.paths: ["/var/log/nginx/access.log*"] error: enabled: true var.paths: ["/var/log/nginx/error.log*"] ``` --- ### **3. `filebeat.config.modules` 参数详解** 在 `filebeat.yml` 主配置文件中，`filebeat.config.modules` 用于控制模块的加载行为： ```yaml filebeat.config.modules: path: ${path.config}/modules.d/*.yml # 默认加载 modules.d 目录下所有模块配置 reload.enabled: true # 允许动态重载配置（无需重启） reload.period: 10s # 每隔 10 秒检查配置变更 ``` #### **常见场景** - **自定义模块路径**：如果模块配置不在默认目录，可修改 `path`： ```yaml filebeat.config.modules: path: /opt/custom_modules/*.yml ``` - **禁用动态重载**：生产环境中为提高稳定性，可关闭动态加载： ```yaml filebeat.config.modules: reload.enabled: false ``` --- ### **4. 模块与 Kafka 输出的结合** 如果目标是推送日志到 Kafka（而非 Elasticsearch），模块仍可用于**日志解析**，但需注意： 1. **禁用 Elasticsearch 输出**：确保 `output.elasticsearch` 未启用。 2. **启用 Kafka 输出**：在 `filebeat.yml` 中配置 `output.kafka`（如你之前的配置）。 3. **模块的解析结果会保留在日志事件中**，最终以 JSON 格式发送到 Kafka。 --- ### **5. 示例：使用 Nginx 模块 + Kafka 输出** ```yaml # filebeat.yml filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false # 生产环境建议关闭动态重载 output.kafka: hosts: ["kafka:9092"] topic: "nginx_logs" codec.json: pretty: false ``` ```yaml # modules.d/nginx.yml - module: nginx access: enabled: true var.paths: ["/var/log/nginx/access.log*"] error: enabled: true var.paths: ["/var/log/nginx/error.log*"] ``` --- ### **6. 注意事项** - **模块覆盖范围**：Filebeat 官方支持 [70+ 种模块](https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-modules.html)，涵盖常见服务。 - **自定义解析规则**：若默认解析不满足需求，可通过 `processors` 或自定义 Ingest Pipeline 扩展。 - **资源占用**：启用多个模块可能增加 CPU/内存消耗（尤其是日志量较大时）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值