Flume配置文件简单整理

本文介绍了Flume如何配置来监控Hive的日志信息,并将这些日志实时上传到HDFS。此外,还详细阐述了Flume配置监听指定目录,将其中的所有文件保存到HDFS的过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

各配置文件信息如下:
一、Flume监控Hive日志信息并上传到Hdfs:

# Name the components on this agent a2.sources = r2
a2.sinks = k2 a2.channels = c2
# Describe/configure the source a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /hive安装路径/hive.log 	
a2.sources.r2.shell = /bin/bash -c

# Describe the sink a2.sinks.k2.type = hdfs
a2.sinks.k2.hdfs.path = hdfs://namenodeIP:8020/指定存储路径

#上传文件的前缀
a2.sinks.k2.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k2.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k2.hdfs.useLocalTimeStamp = true
#积攒多少个Event 才 flush 到 HDFS 一次
a2.sinks.k2.hdfs.batchSize = 1000

#设置文件类型,可支持压缩
a2.sinks.k2.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k2.hdfs.rollInterval = 600
#设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a2.sinks.k2.hdfs.rollCount = 0

#最小副本数
a2.sinks.k2.hdfs.minBlockReplicas = 1

# Use a channel which buffers events in memory 
a2.channels.c2
### 编写Apache Flume配置文件 #### 配置文件基本结构 Flume配置文件是一个简单的键值对文件,通常以`.conf`结尾。每个agent可以有多个sources、channels和sinks,并通过特定的命名约定来关联这些组件。 #### 定义Agent名称 在配置文件的第一行定义使用的agent名字: ```properties a1.sources = r1 a1.sinks = k1 a1.channels = c1 ``` 这表示名为`a1`的agent有一个source (`r1`)、一个sink (`k1`) 和一个channel (`c1`) [^1]. #### 设置Source类型及其参数 对于使用exec类型的source收集日志数据的情况如下所示: ```properties a1.sources.r1.type = exec a1.sources.r1.command = tail -f /home/flume/apache-flume-1.7.0-bin/Hello.log ``` 这里指定了source `r1` 的类型为`exec`, 并设置了命令用于实时读指定的日志文件中的新条目[^3]. #### 设定Channel类型及属性 接下来设置channel的相关信息,比如内存型channel: ```properties a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 ``` 这段配置说明了channel `c1` 使用的是memory存储方式,同时设定了其容量以及事务处理能力[^4]. #### 指定Sink并连接到目标系统 最后一步是指定sink并将它链接至目的地,例如向控制台打印输出或发送给Kafka topic: ```properties a1.sinks.k1.type = logger # 或者如果是Kafka sink,则应如此配置: #a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink #a1.sinks.k1.topic = test_topic #a1.sinks.k1.brokerList = localhost:9092 ``` 上述例子展示了两种不同的sink配置方法——一种是简单地记录消息到本地日志(`logger`), 另外一个是更复杂的场景下将事件推送到Kafka集群中去. #### 关联Sources, Channels 和 Sinks 为了使整个pipeline工作起来还需要把各个部分连在一起: ```properties a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 ``` 这样就完成了从source经由channel再到sink的数据流动路径设定. #### 启动Agent 保存好配置文件之后就可以启动对应的flume agent实例了: ```bash $FLUME_HOME/bin/flume-ng agent --name a1 --conf ./conf --conf-file ./example.conf ``` 这条命令会依据刚才创建好的配置文件启动名为`a1`的agent.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值