flume从kafka导数据到hdfs

最新推荐文章于 2023-09-07 14:49:45 发布

cm_chenmin

最新推荐文章于 2023-09-07 14:49:45 发布

阅读量4.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： flume 文章标签： flume kafka hdfs

本文链接：https://blog.youkuaiyun.com/cm_chenmin/article/details/52779480

本文介绍了如何使用Flume从Kafka批量导入数据到HDFS。Flume是一个高可靠的日志采集系统，支持自定义数据源和接收端。配置文件中，需确保agent名称与配置文件匹配，并设定输出格式为文本或压缩文件以适应需求。通过调整Flume的配置参数，可以实现数据在不同系统间的高效流转。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力.

利用flume从kafka导数据到hdfs

配置文件如下：

flumetohdfs_agent.sources = source_from_kafka
flumetohdfs_agent.channels = mem_channel
flumetohdfs_agent.sinks = hdfs_sink
#auto.commit.enable = true

## kerberos config ##
#flumetohdfs_agent.sinks.hdfs_sink.hdfs.kerberosPrincipal = flume/datanode2.hdfs.alpha.com@OMGHADOOP.COM
#flumetohdfs_agent.sinks.hdfs_sink.hdfs.kerberosKeytab = /root/apache-flume-1.