Filebeat简介
Filebeat 是 Elastic Stack 中的一部分，是用于转发和集中日志数据的轻量级传送器。它作为代理安装在您的服务器上，监控指定的日志文件或目录，收集日志事件，并将它们转发到 Elasticsearch 或 Logstash 进行索引和处理。
Filebeat的构成
Harvesters（收集器）：Harvester 负责读取单个文件的内容，逐行读取每个文件，并将内容发送到输出。每个 harvester 对应一个文件，负责打开和关闭文件描述符，这意味着文件描述符在Harvester运行时保持打开状态。
如果在收集文件时删除或重命名文件，Filebeat 将继续读取该文件。这样做的副作用是，磁盘上的空间一直保留到 harvester 关闭。默认情况下，Filebeat 保持文件打开，直到达到 close_inactive。
Inputs（输入）：Input 负责管理 harvester 并寻找所有来源读取。如果 input 类型是 log，则 input 将查找驱动器上与定义的路径匹配的所有文件，并为每个文件启动一个 harvester。每个 input 在它自己的 Go 进程中运行，Filebeat 当前支持多种输入类型。每个输入类型可以定义多次。日志输入检查每个文件，以查看是否需要启动 harvester、是否已经在运行 harvester 或是否可以忽略该文件。
Filebeat如何保证文件内容不丢失
保证文件内容不丢失，即所有内容至少发送一次：
Filebeat 使用 registry 来记录每个 harvester 最后读取到的文件偏移量(offset)。只有在数据成功发送后，Filebeat 才会更新 registry，否则会一直重试发送。
如果运行中的 Filebeat 突然关闭，Filebeat 不会等待所有接受方确认完，而是立即关闭。等再次启动的时候，这部分内容会重新发送（至少发送一次）。
启动方式
sudo ./filebeat -e -c filebeat.ymlFilebeat常见配置
filebeat.inputs:
- type: log
paths:
- /root/logs/*.log
symlinks: true
processors:
- add_host_metadata:
when.not.contains.tags: forwarded
- drop_fields:
fields: ["ecs","icmp","igmp","agent","kafka","azure","input","stream","syslog","docker","process","host.id","fileset","host.os","host.mac","log.offset","user_agent","log.source","host.hostname","http.response","read_timestamp","host.architecture","host.containerized"]
ignore_missing: true
setup.ilm.enabled: false
setup.template.enabled: false
output.elasticsearch:
hosts: ['http://space-egsejxu8.ap-guangzhou.qcloudes.com:80']
username: "elastic"
password: "1L46-.be%*8cS@xf5I39"
bulk_max_size: 2048
compression_level: 5
index: "zijian-egsejxu8"
allow_older_versions: trueInput -- 输入源
常见的输入组件：Log、kafka、k8s、cvm 、docker、TCP、UDP
以 Log 为例：
基础配置
filebeat.inputs:
// 类型log
- type: log
// 输入要采集日志的路径，支持同时采集多个
paths:
- /root/logs/*.log
- /var/logs/access.log
exclude_lines: ['vpc-(([a-z0-9]){8,8})']Configure inputs | Filebeat Reference [8.12] | Elastic
（复制下列链接至浏览器打开：https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html ）
进阶配置
symlinks：#符号链接选项允许filebeat除常规文件外,可以收集符号链接。收集符号链接时，即使报告了符号链接的路径，
encoding：#指定被监控的文件的编码类型，使用plain和utf-8都是可以处理中文日志
exclude_lines: ['vpc-(([a-z0-9]){8,8}'] #不包含匹配正则的行
include_lines: ['^ERR', '^WARN'] #包含匹配正则的行
exclude_files: ['\.gz$'] #用于匹配希望filebeat忽略的文件的正则表达式列表
harvester_buffer_size: 16384 #每个harvester在获取文件时使用的缓冲区的字节大小，这部分根据业务可以进行调优
max_bytes: 10485760 #单个日志消息可以拥有的最大字节数。max_bytes之后的所有字节都被丢弃而不发送。默认值为10MB (10485760)
ingore_older: 0 #默认为0，表示禁用，可以配置2h，2m等；参数在filebeat配置中用于指定filebeat忽略文件中比指定时间更早的事件。这个参数的值通常使用时间格式来表示，例如1d表示一天，2h表示两小时，或者5m表示五分钟。当filebeat开始监控一个文件时，它会检查文件的修改时间，并忽略在ignore_older指定时间之前发生的事件；注意ignore_older必须大于close_inactive的值；用于减少数据量、提高性能
close_inactive：#是filebeat配置中的一个参数，它用于指定在harvester没有读取活动时，filebeat应该在多长时间后关闭并重新打开日志文件。这个参数的目的是确保filebeat能够在文件不再有新内容写入时释放资源，并在文件再次有新内容时重新打开文件以继续收集日志；当设置为0或者不设置时，filebeat将不会关闭不活动的文件；用于资源管理
tail_files：#如果设置为true，filebeat从文件尾开始监控文件新增内容，把新增的每一行文件作为一个事件依次发送，
harvester_limit：#harvester_limit选项限制一个prospector并行启动的harvester数量，直接影响文件打开数
multiline.pattern #必须匹配的regexp模式
multiline.negate #定义上面的模式匹配条件的动作是 否定的，默认是false假如模式匹配条件'^b'，默认是false模式，表示讲按照模式匹配进行匹配 将不是以b开头的日志行进行合并如果是true，表示将不以b开头的日志行进行合并
multiline.match # 指定Filebeat如何将匹配行组合成事件,在之前或者之后，取决于上面所指定的negate
multiline.max_lines #可以组合成一个事件的最大行数，超过将丢弃，默认500
multiline.timeout #定义超时时间，如果开始一个新的事件在超时时间内没有发现匹配，也将发送日志，默认是5s
max_procs #设置可以同时执行的最大CPU数。默认值为系统中可用的逻辑CPU的数量。Output -- 输出
常见的输出地址：ES、Logstash、Kafka、Redis
以输出腾讯云 ES Serverless 为例：
基础配置
output.elasticsearch:
hosts: ['http://space-egsejxu8.ap-guangzhou.qcloudes.com:80']
username: "elastic"
password: "1L46-.be%*8cS@xf5I39"
#单个bulk API 索引请求中批量的最大事件数。默认值是 1600；增加批次大小可以通过降低发送事件的开销来提高性能，但过大的批次大小也可能增加处理时间，可能导致 API错误、连接被杀、发布请求超时，最终导致吞吐量降低。将 bulk_max_size 设置为 0 或负值将禁用批次分割
bulk_max_size: 2048
compression_level: 5
index: "zijian-egsejxu8"
allow_older_versions: trueConfigure the output | Filebeat Reference [8.12] | Elastic
（复制下列链接至浏览器打开：https://www.elastic.co/guide/en/beats/filebeat/current/configuring-output.html ）
进阶配置
output.elasticsearch:
hosts: ['http://space-egsejxu8.ap-guangzhou.qcloudes.com:80']
username: "elastic"
password: "1L46-.be%*8cS@xf5I39"
indices:
- index: "warning-%{[agent.version]}"
when.contains:
message: "WARN"
- index: "error-%{[agent.version]}"
when.contains:
message: "ERR"
- index: "%{[fields.log_type]}"
mappings:
critical: "sev1"
normal: "sev2"
default: "sev3"
pipeline: my_pipeline_id #可以输出到es中的某个pipeline，然后pilepline对数据进行处理，最后存入es，使用方式和存入某个index类似
max_retries：#filebeat的重试次数，默认无限次重试
backoff.init：#在网络错误后，filebeat等待多长时间再尝试重新连接到Elasticsearch。在等待backoff.init 秒后，filebeat尝试重新连接。如果连接尝试失败，退避计时器会按指数方式增加，直到 backoff.max。成功连接后，退避计时器被重置。默认值是 1s
timeout：#定义了 Elasticsearch 请求的HTTP请求超时时间，单位是秒。默认值是90秒Processors -- 处理器
Dissect
# dissect模块是一个处理器，它的作用是对日志数据进行解析和转换。dissect处理器使用预定义的模式来识别和提取日志行中的特定字段，并将这些字段作为单独的事件字段存储。这使得可以将复杂的日志格式转换为结构化的事件数据，便于后续的索引、搜索和分析
processors:
- dissect:
when:
contains:
message: "[SLOW_LOG]"
tokenizer: "%{msg1} total_latency=%{total_latency}, upstream_latency=%{upstream_latency}, business_latency=%{business_latency}, %{msg2}"
field: "message"
target_prefix: ""
# 示例
echo '[SLOW_LOG] demofilebeat total_latency=1996, upstream_latency=996, business_latency=1000, end!' >> access.log
Drop_fields
processors:
- add_host_metadata:
when.not.contains.tags: forwarded
- drop_fields:
fields: ["total_latency"]
ignore_missing: true
# 返回的结果：
{
"_index": ".ds-zijian-egsejxu8-2024.03.24-000003",
"_type": "_doc",
"_id": "D8l1cY4BBQ5-GDn5KF94",
"_score": 1,
"_source": {
"@timestamp": "2024-03-24T17:14:37.241Z",
"ecs": {
"version": "8.0.0"
},
"host": {
"name": "VM-0-6-tencentos"
},
"business_latency": "1000",
"total": {
"latency": 1996
},
"business": {
"latency": 1000
},
"log": {
"offset": 5719,
"file": {
"path": "/root/logs/access.log"
}
},
"message": "[SLOW_LOG] demofilebeat total_latency=1996, upstream_latency=996, business_latency=1000, end!",
"input": {
"type": "log"
},
"msg1": "[SLOW_LOG] demofilebeat",
"agent": {
"ephemeral_id": "19666091-b6d2-4998-ad62-6eabfebbcb96",
"id": "5b126ba6-d763-4bb9-a658-984c60c17f87",
"name": "VM-0-6-tencentos",
"type": "filebeat",
"version": "8.12.2"
},
"msg2": "end!",
"upstream": {
"latency": 996
},
"upstream_latency": "996"
},
"fields": {
"msg2": [
"end!"
],
"msg1": [
"[SLOW_LOG] demofilebeat"
],
"upstream_latency": [
"996"
],
"business.latency": [
1000
],
"input.type": [
"log"
],
"log.offset": [
5719
],
"message": [
"[SLOW_LOG] demofilebeat total_latency=1996, upstream_latency=996, business_latency=1000, end!"
],
"upstream.latency": [
996
],
"business_latency": [
"1000"
],
"agent.type": [
"filebeat"
],
"@timestamp": [
"2024-03-24T17:14:37.241Z"
],
"agent.id": [
"5b126ba6-d763-4bb9-a658-984c60c17f87"
],
"ecs.version": [
"8.0.0"
],
"log.file.path": [
"/root/logs/access.log"
],
"agent.ephemeral_id": [
"19666091-b6d2-4998-ad62-6eabfebbcb96"
],
"agent.name": [
"VM-0-6-tencentos"
],
"agent.version": [
"8.12.2"
],
"host.name": [
"VM-0-6-tencentos"
],
"total.latency": [
1996
],
"log.file.path.keyword": [
"/root/logs/access.log"
]
}
}可以看到 total_latency 这个字段被删除了，upstream_latency 这个字段依旧存在。
Convert
# convert
processors:
- convert:
fields:
- {from: "total_latency", to: "total.latency", type: "integer"}
- {from: "upstream_latency", to: "upstream.latency", type: "integer"}
- {from: "business_latency", to: "business.latency", type: "integer"}
# ignore_missing是使用该processor出现错误的时候不进行报错，可以提高filebeat的健壮性
ignore_missing: true
fail_on_error: false用了 Convert 之后可以将一些字段转换为特殊的特性，从而方便做一些操作；比如说转换为 Integer 类型之后，可以做范围查询。
Decode_json_fields
# decode_json_fields
processors:
- decode_json_fields:
fields:
- message
max_depth: 1
overwrite_keys: true腾讯云Filebeat日志采集方案
对于需要采集并分析日志的场景，可以使用 Filebeat采集数据，然后传输到腾讯云 Elasticsearch Serverless中进行存储，之后可以在 Kibana 中查询并分析日志。本文介绍如何配置 Filebeat 采集部署在服务器上的服务日志。
优点
Filebeat 是一个轻量型的日志采集器，可以轻松地采集服务器上 的日志，从而使得查询或者分析业务服务端的日志变得简单。
Filebeat 能够逐行读取并发送日志，支持在出现中断的情况下，记录中断时读取到的文件位置信息，后续恢复正常后可以从中断前停止的位置继续开始。
Filebeat 非常适合采集 Nginx、Apache 以及容器服务的日志，并且提供可以直接引用的配置模板，极大的简化了这类服务的日志采集过程。
Filebeat 内置的processor具有强大的功能，比如 dissect 、drop_fields 、convert 等，在 Filebeat 介绍中对常见的 processor 进行详细介绍。
服务器部署Filebeat日志采集方案
一、部署条件
1、 一台服务器
2、 用户服务器和云上 vpc 网络相通
二、部署方案
方案：采集业务特定输出日志
1. 修改采集配置
修改 filebeat-path-diy.yaml 文件里的下述属性，以 node 主机路径作为过滤条件进行采集。
printf("hello world!");filebeat.inputs:
// 类型log
- type: log
// 输入要采集日志的路径，支持同时采集多个
paths:
- /root/logs/*.log
- /var/logs/access.log2. 修改索引配置
根据索引详情页信息，修改 filebeat-path-diy.yaml 文件里的下述属性。
output.elasticsearch:
hosts: ['http://space-6eiold1x.ap-guangzhou.qcloudes.com:80'] # 修改为项目空间内网访问地址和80端口号
username: "elastic" # 无须修改
password: "xxxxxxx" # 修改为对应用户密码
bulk_max_size: 2048 # 无须修改
compression_level: 5 # 无须修改
index: "old-index2-6eiold1x" # 修改为索引名
allow_older_versions: true # 无须修改3. 启动 Filebeat
sudo ./filebeat -e -c filebeat.ymlK8S集群部署Filebeat日志采集方案
一、部署条件
1、 K8s 集群
2、 能连接 K8s 集群的 kubectl 客户端
3、 用户 K8s 集群和云上 vpc 网络相通
二、部署方案
采集有两种方式，第一种方式，采集业务日志输出（非/var/log/containers/下的标准输出日志），选择node的主机路径；第二种方式，采集标准输出（/var/log/containers/下的标准输出日志），选择空间、 label 等来指定 pod。
方案1：采集业务特定输出日志
1. 修改采集配置
修改 filebeat-path-diy.yaml 文件里的下述属性，以 node 主机路径作为过滤条件进行采集。
# 修改日志采集路径，支持多个
filebeat.inputs:
- type: log
paths:
- /var/log/containers/1.log # 改为node的主机路径，路径支持到文件
- type: log
paths:
- /var/log/containers/*.txt # 改为node的主机路径，路径支持通配符2. 修改索引配置
根据索引详情页信息，修改 filebeat-path-diy.yaml 文件里的下述属性。
output.elasticsearch:
hosts: ['http://space-6eiold1x.ap-guangzhou.qcloudes.com:80'] # 修改为项目空间内网访问地址和80端口号
username: "elastic" # 无须修改
password: "xxxxxxx" # 修改为对应用户密码
bulk_max_size: 2048 # 无须修改
compression_level: 5 # 无须修改
index: "old-index2-6eiold1x" # 修改为索引名
allow_older_versions: true # 无须修改3. DaemonSet 部署 Filebeat
kubectl create -f filebeat-path-diy.yaml方案2：采集标准输出日志
1. 修改采集配置
修改 filebeat-path-var.yaml 文件里的下述属性，以标签或者命名空间作为过滤条件进行采集
# 1. 根据labels和namespace过滤pod
filebeat.autodiscover:
providers:
- type: kubernetes
node: ${NODE_NAME}
templates:
- condition.and:
- or: # 填写选择的空间和标签信息
- equals.kubernetes.namespace: default
- equals.kubernetes.namespace: kube-system
- equals.kubernetes.labels.k8s-app: "kube-dns"
- equals.kubernetes.labels.pod-template-hash: "56555dd999"
# 2. 选择所有空间所有pod，包含现存及未来
filebeat.autodiscover:
providers:
- type: kubernetes
node: ${NODE_NAME}
templates:
- condition:
regexp.kubernetes.namespace: ".*"2. 修改索引配置
根据索引详情页信息，修改 filebeat-path-var.yaml 文件里的下述属性
output.elasticsearch:
hosts: ['http://space-6eiold1x.ap-guangzhou.qcloudes.com:80'] # 修改为空间的内网访问地址和80端口号
username: "elastic" # 无须修改
password: "xxxxxxx" # 修改为对应用户密码
bulk_max_size: 2048 # 无须修改
compression_level: 5 # 无须修改
index: "old-index2-6eiold1x" # 修改为索引名
allow_older_versions: true # 无须修改3. DaemonSet 部署 Filebeat
kubectl create -f filebeat-path-var.yaml总结
本文简单介绍了如何利用 Filebeat轻量级日志收集器，高效地将业务日志导入腾讯云的 ES Serverless 服务。Filebeat 以其轻量级和灵活性，成为日志收集的首选工具之一。结合腾讯云 ES Serverless 的一站式日志采集解决方案，用户可以轻松实现日志数据的集中管理和分析，无需担心基础设施的维护和扩展问题。文章中提供的一键部署功能，极大地简化了 Filebeat 的部署流程，使得即使是初学者也能快速上手。我们通过实际操作案例，向读者展示了从配置 Filebeat 到日志数据成功导入腾讯云ES的完整流程。使用 Filebeat 和腾讯云 ES Serverless，用户不仅可以节省时间和资源，还可以利用强大的搜索和分析能力，从日志中获得宝贵的业务洞察。随着日志管理和分析技术的不断进步，我们期待未来能为用户带来更多创新和便利。
关注腾讯云大数据公众号
邀您探索数据的无限可能
点击阅读原文，了解更多相关产品详情
↓↓↓
312
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
