Flume系列：Flume Channel使用

原创

已于 2023-06-06 22:47:53 修改 · 818 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flume #大数据 #hadoop

于 2023-05-10 21:02:47 首次发布

Apache Hadoop生态-目录汇总-持续更新

1：Kafka Channel

2：File Channel

3：Memory Channel

Apache Hadoop生态-目录汇总-持续更新

系统环境：centos7

Java环境：Java8

1：Kafka Channel

Kafka Channel：数据存储在kafka里，存储在磁盘，如果sink是kafka的情况，采用Kafka Channel会少一步sink

# 1：定义组件
file_flume_kafka.sources = r1
file_flume_kafka.channels = c1
file_flume_kafka.sinks = k1

# 2：定义source
这里主要介绍Channel顾这里省略，到source模块查看写法

# 3：定义channel
file_flume_kafka.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
file_flume_kafka.channels.c1.kafka.bootstrap.servers = 192.168.5.