td-agent 收集日志到kafka的配置

最新推荐文章于 2024-08-20 09:48:49 发布

bangzhen6307

最新推荐文章于 2024-08-20 09:48:49 发布

阅读量729

点赞数

文章标签：大数据

原文链接：http://www.cnblogs.com/zxRPI/p/7989155.html

版权

本文详细解析了 TD-Agent 配置文件中关于微信日志的处理流程，包括如何读取日志文件、匹配规则、使用 Kafka 作为中间件进行数据传输等关键步骤。同时介绍了 pos_file 的作用，确保日志消费不重复。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

<source>
@type tail
path /data1/td-agent/wechat-tag*.log
tag wechat-tag
read_from_head true
format none
pos_file /var/log/td-agent/wechat-tag.pos
</source>

<match wechat-tag>
@type kafka_buffered
brokers myserver.com:9092
buffer_type file
buffer_path /var/log/td-agent/buffer/wechat-tag
flush_interval 10s
output_data_type attr: message
</match>

解释说明：

topic: wechat-tag

broker:myserver.com:9092

pos_file 为了记录消费文件的位置，防止重启tdagent以后重复消费

output_data_type：只发送message字段里的内容

转载于:https://www.cnblogs.com/zxRPI/p/7989155.html