flume数据丢失与重复_Flume基础学习

最新推荐文章于 2024-08-09 18:00:19 发布

weixin_39702335

最新推荐文章于 2024-08-09 18:00:19 发布

阅读量859

点赞数

文章标签： flume数据丢失与重复

本文链接：https://blog.youkuaiyun.com/weixin_39702335/article/details/112339403

版权

本文介绍了Flume这款日志采集工具，详细讲解了其Source（如Taildir Source）、Channel（包括Memory Channel、File Channel和Kafka Channel）和Sink（Avro Sink、Kafka Sink）的特性，以及Flume拦截器的作用和启动命令。Flume在数据丢失和重复方面的处理，如Taildir Source的断点续传功能，以及Channel的数据可靠性与性能权衡。文中还提到了大数据处理流程中Flume的角色，即从日志文件到Kafka，再到HDFS的转换过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flume是一款非常优秀的日志采集工具。支持多种形式的日志采集，作为apache的顶级开源项目，Flume再大数据方面具有广泛的应用

首先需要在Flume的解压目录中conf文件夹中将flume-env.sh.templete更改未flume.env.sh

并修改jdk的位置

Source

我们可以从Avro，NetCat。Http,TailDir。我们在Java开发中通常都是使用的log4j等日志工具进行日志按天存储，所以我们重点关注下tailDir Source

Taildir Source

在Flume1.7之前如果想要监控一个文件新增的内容，我们一般采用的source 为 exec tail，但是这会有一个弊端，就是当你的服务器宕机重启后，此时数据读取还是从头开始，这显然不是我们想看到的！在Flume1.7 没有出来之前我们一般的解决思路为：当读取一条记录后，就把当前的记录的行号记录到一个文件中，宕机重启时，我们可以先从文件中获取到最后一次读取文件的行数，然后继续监控读取下去。保证数据不丢失、不重复。

在Flume1.7时新增了一个source 的类型为taildir，它可以监控一个目录下的多个文件，并且实现了实时读取记录保存的断点续传功能。

但是Flume1.7中如果文件重命名，那么会被当成新文件而被重新采集。

Channel

Memory Channel

Memory Channel把Event保存在内存队列中，该队列能保存的Event数量有最大值上限。由于Event数据都保存在内存中，Memory Channel有最好的性能，不过也有数据可能会丢失的风险，如果Flume崩溃或者重启，那么保存在Channel中的Event都会丢失。同时由于内存容量有限，当Event数量达到最大值或者内存达到容量上限，Memory Channel会有数据丢失。