flume AvroSource和AvroSink使用

Flume AvroSource与AvroSink实战指南

最新推荐文章于 2024-08-07 19:26:10 发布

原创

最新推荐文章于 2024-08-07 19:26:10 发布 · 1.7k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #flume

本文详细介绍了Flume中的AvroSource和AvroSink的配置参数及使用示例。AvroSource作为主要的RPC Source，通常与AvroSink配合，用于接收并缓冲来自其他节点的数据。配置参数中，bind参数决定监听地址，threads设置最大线程数，ssl启用SSL连接，compression-type可配置数据压缩类型。AvroSink的配置则涉及如何将数据发送到目标机器，如在此场景中，数据经Avro压缩后发送到另一台机器并进入Kafka。

AvroSource

Avro Source是flume主要的RPC Source，能接收其他节点的Avro Sink或者用Flume SDK发来的数据,
常与Avro Sink结合作为缓冲使用。
关于Avro，这篇文章有作介绍，链接:Avro使用详解

AvroSource配置参数

配置参数	默认值	描述
type	-	source类型
bind	-	ip地址，0.0.0.0绑定所有机器
port	-	本机接收端口
threads	-	接收传入数据的最大线程数量
ssl	false	是否使用SSL
keystore	-	SSL使用的keystore路径
keystore-password	-	keystore密码
keystore-type	JKS0	keystore类型
compression-type	-	压缩数据的格式，只支持zlib，使用deflate设置

bind若使用127.0.0.1则只接收本机的请求数据，0.0.0.0可以接收来之所有机器的数据。
threads最大线程数量受JVM,操作系统，硬件限制。
ssl如果设为true，则发送到source的所有机器都需配置使用ssl。
compression-type如果配置使用，则传入的数据源需要被压缩，否则source无法解析，因此如果传入数据缺失无法压缩，
例如传入了http请求又需要压缩发送到avroSource，则可在avro同台机器配置多个agent，用httpsource，avroSink使用压缩。
如果是压缩与不压缩的数据都需要接接收，就需要avrosource配置两个，一个压缩一个不压缩。