记一次·Fluentd File Buffer

记一次·Fluentd File Buffer

—— buffer_queue_limit与buffer_chunk_limit

一、背景

使用fluentd，配置tail source采集日志文件，file buffer作为缓存，发送到下游三台节点的端口。监控告警，fluentd的file buffer堆积550M+，处理该问题后，思考类似这样的buffer堆积，是否会导致数据丢失。

二、操作

1. 结论是不会丢数据
2. 官方地址：fluentd官方文档
3. 查看官网0.12版本文档。
4. 侧边目录找到Buffer Plugins>file
   

chunk队列的长度限制。 关于基本的缓冲区结构，请参阅缓冲区插件概述文章。 默认的限制是256块。

每个缓冲区块的大小。 默认值为8m。 可以使用后缀“k”(KB)、“m”(MB)、“g”(GB)。 关于