flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE

最新推荐文章于 2022-11-21 16:00:27 发布

快乐骑行^_^

最新推荐文章于 2022-11-21 16:00:27 发布

阅读量1.2k

点赞数 5

CC 4.0 BY-SA版权

分类专栏： flume 文章标签： flume系列 hflushOrSync Lease

本文链接：https://blog.youkuaiyun.com/zhengzaifeidelushang/article/details/127632766

flume 专栏收录该内容

72 篇文章 ¥29.90 ¥99.00

订阅专栏

本文介绍了Flume在使用过程中遇到的两个错误：尝试hflushOrSync时出错和Lease.Holder异常。错误一是由于多个Flume agent并发写同名文件导致；错误二是多线程并发写入同一文件引发。解决方案包括确保每个agent的HDFS文件名唯一，以及避免多线程写入同一个Kafka topic。

flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE

一、完整报错
二、错误原因
三、解决方法

一、完整报错

错误一：

Error while trying to hflushOrSync!

错误二：

Lease. Holder: DFSClient_NONMAPREDUCE_-370864028_41, pending creates: 638

二、错误原因

错误一原因：

每一个flume-agent配置的hdfsSink是完全一样的，每个flume-agent读取的source相同，有很大概率会出现多个flume-agent同时写同名文件，导致部分flume-agent无法继续

错误二原因：

多个线程中创建文件，多线程尝试写入同一文件的问题，如果第一个线程创建的文件被第二个线程覆盖，那么第一个线程将遇到上述异常。

三、解决方法

错误一解决方法：

确保hdfs文件名不一样：

prod1.sinks.sink1.hdfs.path = /prod/raw/kafka/%{topicname}/%{database}/%{table}/1h/%Y%m%d/%H
prod1.sinks.sink1.hdfs.filePrefix = %{hostname}-flumedata

错误二解决方法：