Flume配置HDFS Sink

最新推荐文章于 2023-04-15 20:50:47 发布

DeathGXD

最新推荐文章于 2023-04-15 20:50:47 发布

阅读量693

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Flume 文章标签： Flume

本文链接：https://blog.youkuaiyun.com/gxd520/article/details/92769359

Flume 专栏收录该内容

3 篇文章

订阅专栏

博客主要解析HDFS Sink的常规配置，重点提及batchSize配置不能设为0，否则会出现Flume不报错但无数据写入HDFS的情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

解析一下HDFS Sink的常规配置

channel
type				   ###sink的类型，此处是hdfs
hdfs.path              ###hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/
hdfs.filePrefix        ###写入hdfs的文件名前缀，比如：events-
hdfs.fileSuffix		   ###写入hdfs的文件名后缀，比如：.log
hdfs.rollInterval      ###间隔多长将临时文件滚动成最终目标文件，单位：秒。如果设置成0，则表示不根据时间来滚动文件
hdfs.rollSize          ###当临时文件达到多少（单位：bytes）时，滚动成目标文件；如果设置成0，则表示不根据临时文件大小来滚动文件，默认1024
hdfs.rollCount         ###当events数据达到该数量时候，将临时文件滚动成目标文件；如果设置成0，则表示不根据events数据来滚动文件
hdfs.batchSize         ###在将数据写入HDFS上之前，每多少个events写入到临时文件，默认是100。该配置不能为配置为0。
hdfs.proxyUser         ###Flume操作HDFS的代理用户，有时Flume写入HDFS时会报权限问题，这个配置需要配置好
hdfs.fileType          ###hdfs上文件的类型

此处要重点说一下batchSize配置，该配置不能写成0，若是配置为0，则会出现flume不报错，但是并没有数据写入到hdfs上的情况。