Flume系列：Flume Sink使用

最新推荐文章于 2024-03-25 18:53:57 发布

原创

最新推荐文章于 2024-03-25 18:53:57 发布 · 1.0k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#flume #大数据 #java

本文介绍了Apache Flume中Sink的使用，重点讲解了HDFS Sink处理小文件的问题及其影响，包括元数据和计算层面的挑战，并提出了通过配置参数控制小文件生成的解决方案。此外，还提及了logger Sink的启动方式以及如何利用kafka channel将数据写入Kafka。

Apache Hadoop生态-目录汇总-持续更新

3：写入Kafka - 可以使用kafka channel代替

Apache Hadoop生态-目录汇总-持续更新

系统环境：centos7

Java环境：Java8

Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。

Sink 组件目的地包括 hdfs、logger(常用语测试)、avro、thrift、ipc、file、HBase、solr、自定义。

1：HDFS Sink

# 1：定义组件
kafka_flume_hdfs.sources = r1
kafka_flume_hdfs.channels = c1
kafka_flume_hdfs.sinks = k1

# 2：定义source
这里主要介绍Channel顾这里省略，到source模块查看写法

# 3：定义channel
这里主要介绍sources顾这里省略，到channel模块查看写法

# 4：定义sink
kafka_flume_hd