Flume总结（source|channel|sink 配置）

普通的程序员Y

于 2020-05-24 00:40:33 发布

阅读量862

点赞数 1

文章标签： flume

本文链接：https://blog.youkuaiyun.com/yushouxiang2014/article/details/106309253

版权

本文是对Flume的全面总结，包括agent的基本结构，source（如exec, spooldir, avro, taildir）用于对接数据源，channel（如file, memory）确保数据安全性，sink（如logger, hdfs, avro）将数据发送至目标位置，以及拦截器、调优、高可用性和Put/Take事务的概念解析。" 103984049,7409035,SpringBoot整合ES进行增删改查操作指南,"['es', 'SpringBoot', '数据库', '查询操作', '分页']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flume总结

文章目录

- Flume总结
- - - - agent
      - source
      - channel
      - sink
      - 拦截器
      - 调优
      - 高可用
      - Put事务 Take事务

agent

source 、channel、sink

source

对接数据源

exec source

a1.sources.r1.type = exec
#配置命令
a1.sources.r1.command = tail -F /data/flumeData/tail.log
a1.sources.r1.channels = c1

spooldir source

a1.sources.r1.type = spooldir
#监控该文件夹采集新文件，已经采集过的文件会标记改名字。重新启动会重复采集吗
a1.sources.r1.spoolDir = /data/flumeData/files
###fileHeader是什么意思
a1.sources.r1.fileHeader = true
a1.sources.r1.channels = c1

avro source 用于采集上一个sink的输出

a1.sources.r1.type = avro
#AvroSource服务的ip地址
a1.sources.r1.bind = 192.168.200.110
#AvroSource服务的端口   
a1.sources.r1.port = 4141
a1.sources.r1.chan

最低0.47元/天解锁文章