flume多个agent连接(配置文件)

这篇博客介绍了如何使用Flume配置多个Agent进行数据传输。第一个Agent通过`tail -F`命令从日志文件中收集数据,并将其发送到Avro端口,数据被中继到另一台机器的Avro服务。第二个Agent配置为接收Avro端口的数据,并将其记录到控制台。此外,还展示了如何配置Avro-HDFS源和接收来自Avro端口的数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

-------

从tail命令获取数据发送到avro端口

另一个节点可配置一个avro源来中继数据,发送外部存储

tail-avro.conf

##################
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1


# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/hadoop/log/test.log
a1.sources.r1.channels = c1


# Describe the sink
#绑定的不是本机, 是另外一台机器的服务地址, sink端的avro是一个发送端, avro的客户端, 往shizhan02这个机器上发
a1.sinks = k1
a1.sinks.k1.type = avro
a1.sinks.k1.channel = c1
a1.sinks.k1.hostname = shizhan02
a1.sinks.k1.port = 4141
a1.sinks.k1.batch-size = 2






# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100


# Bind the source and sink to the channel
a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1


-------

从avro端口接收

### 编Apache Flume配置文件 #### 配置文件基本结构 Flume配置文件一个简单的键值对文件,通常以`.conf`结尾。每个agent可以有多个sources、channels和sinks,并通过特定的命名约定来关联这些组件。 #### 定义Agent名称 在配置文件的第一行定义使用的agent名字: ```properties a1.sources = r1 a1.sinks = k1 a1.channels = c1 ``` 这表示名为`a1`的agent一个source (`r1`)一个sink (`k1`)一个channel (`c1`) [^1]. #### 设置Source类型及其参数 对于使用exec类型的source收集日志数据的情况如下所示: ```properties a1.sources.r1.type = exec a1.sources.r1.command = tail -f /home/flume/apache-flume-1.7.0-bin/Hello.log ``` 这里指定了source `r1` 的类型为`exec`, 并设置了命令用于实时读取指定的日志文件中的新条目[^3]. #### 设定Channel类型及属性 接下来设置channel的相关信息,比如内存型channel: ```properties a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 ``` 这段配置说明了channel `c1` 使用的是memory存储方式,同时设定了其容量以及事务处理能力[^4]. #### 指定Sink并连接到目标系统 最后一步是指定sink并将它链接至目的地,例如向控制台打印输出或发送给Kafka topic: ```properties a1.sinks.k1.type = logger # 或者如果是Kafka sink,则应如此配置: #a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink #a1.sinks.k1.topic = test_topic #a1.sinks.k1.brokerList = localhost:9092 ``` 上述例子展示了两种不同的sink配置方法——一种是简单地记录消息到本地日志(`logger`), 另外一个是更复杂的场景下将事件推送到Kafka集群中去. #### 关联Sources, Channels 和 Sinks 为了使整个pipeline工作起来还需要把各个部分连在一起: ```properties a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 ``` 这样就完成了从source经由channel再到sink的数据流动路径设定. #### 启动Agent 保存好配置文件之后就可以启动对应的flume agent实例了: ```bash $FLUME_HOME/bin/flume-ng agent --name a1 --conf ./conf --conf-file ./example.conf ``` 这条命令会依据刚才创建好的配置文件启动名为`a1`的agent.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值