Flume配置案例——syslogtcp_file_hdfs.conf

本文详细介绍了如何使用Flume进行日志收集,包括配置监听端口、主机名、通道类型、sink类型等参数,以及如何在Linux Ubuntu环境下部署Flume并启动日志收集服务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

实验内容
Source为syslogtcp,监听端口为6868,主机名为localhost,搭配Channel的file类型,Sink的类型为hdfs。

系统环境
Linux Ubuntu 14.04
jdk-7u75-linux-x64
hadoop-2.6.0-cdh5.4.5
flume-ng-1.5.0-cdh5.4.5
zookeeper-3.4.5-cdh5.4.5

实验步骤
1、创建Flume配置文件,名为:syslogtcp_file_hdfs.conf,使用vim编辑该conf文件,

cd /apps/flume/conf
cp ./flume-conf.properties.template ./syslogtcp_file_hdfs.conf
vim syslogtcp_file_hdfs.conf

插入如下内容:

#定义各个组件
agent1.sources  = src
agent1.channels = ch
agent1.sinks    = des

#配置source
agent1.sources.src.type = syslogtcp
agent1.sources.src.port = 6868
agent1.sources.src.host = localhost

#配置channel
agent1.channels.ch.type = file
agent1.channels.ch.checkpointDir = /data/flume/ckdir
agent1.channels.ch.dataDirs = /data/flume/datadir

#配置sink
agent1.sinks.des.type = hdfs
agent1.sinks.des.hdfs.path = hdfs://localhost:9000/myflume/syslogtcp_file_hdfs/%Y%m%d/
agent1.sinks.des.hdfs.useLocalTimeStamp = true

#设置flume临时文件的前缀为 . 或 _ 在hive加载时,会忽略此文件。
agent1.sinks.des.hdfs.inUsePrefix=_
#设置flume写入文件的前缀是什么
agent1.sinks.des.hdfs.filePrefix = abc
agent1.sinks.des.hdfs.fileType = DataStream
agent1.sinks.des.hdfs.writeFormat = Text
#hdfs创建多久会新建一个文件,0为不基于时间判断,单位为秒
agent1.sinks.des.hdfs.rollInterval = 30
#hdfs写入的文件达到多大时,创建新文件 0为不基于空间大小,单位B
agent1.sinks.des.hdfs.rollSize = 100000
#hdfs有多少条消息记录时,创建文件,0为不基于条数判断
agent1.sinks.des.hdfs.rollCount = 10000
#hdfs空闲多久就新建一个文件,单位秒
agent1.sinks.des.hdfs.idleTimeout = 30

##下面是把上面设置的组件关联起来(把点用线连起来)
agent1.sources.src.channels = ch
agent1.sinks.des.channel    = ch

2、启动flume:

flume-ng agent -c /conf -f /apps/flume/conf/syslogtcp_file_hdfs.conf -n agent1 -D flume.root.logger=DEBUG,console

3、在另一个窗口,向6868端口发送命令:

echo "hello can you hear me?" | nc localhost 6868 

在这里插入图片描述
Flume-ng的输出如下:
在这里插入图片描述
查看hdfs中的结果如下:
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

极地星光

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值