Flume入门教程-简单案例

最新推荐文章于 2024-04-22 15:22:55 发布

最新推荐文章于 2024-04-22 15:22:55 发布 · 395 阅读

文章标签：

#Flume

Flume 专栏收录该内容

0 篇文章

订阅专栏

本文介绍如何使用Flume收集、聚合和移动大量日志数据。包括下载安装Flume、配置简单的Agent来收集数据并通过telnet进行测试的过程。还提供了进一步的配置示例，如通过tail命令读取日志文件及跟踪指定目录。

Flume入门教程-简单案例

1.下载安装

官方网站：http://flume.apache.org/
http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz
tar -zxvf apache-flume-1.6.0-bin.tar.gz

2.修改配置

重命名flume-conf.properties.template文件为simple.conf,并修改为以下内容

Agent名称定义为agent. 
Source:可以理解为输入端，定义名称为s1
channel：传输频道，定义为c1，设置为内存模式
sinks：可以理解为输出端，定义为sk1,

agent.sources = s1  
agent.channels = c1
agent.sinks = sk1

#设置Source的内省为netcat 端口为5678，使用的channel为c1
agent.sources.s1.type = netcat
agent.sources.s1.bind = localhost
agent.sources.s1.port = 5678
agent.sources.s1.channels = c1

#设置Sink为logger模式，使用的channel为c1
agent.sinks.sk1.type = logger
agent.sinks.sk1.channel = c1
#设置channel信息
agent.channels.c1.type = memory #内存模式
agent.channels.c1.capacity = 1000   
agent.channels.c1.transactionCapacity = 100 #传输参数设置。

3.启动Agent

bin/flume-ng agent -c conf -f conf/simple.conf --name agent -Dflume.root.logger=INFO,console

4.发送测试数据

telnet localhost 5678
hello，world.

5.验证数据接收

验证flume是否接收到了数据

6.简单优化配置：
修改flume-env.sh，设置JDK版本，Flume1.6.0需要JDK1.6+
export JAVA_HOME=/opt/jdk1.7/jdk1.7.0_45/

设置内存相关参数
JAVA_OPTS="-Xms8192m -Xmx8192m -Xss256k -Xmn2g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

7.其他配置案例

使用命令行模式Tail读取日志文件配置

agent.sources = s1
agent.channels = c1
agent.sinks = sk1

#设置Tail方式跟踪日志内容
agent.sources.s1.type = exec
agent.sources.s1.command = tail -F /usr/local/logstash-1.4.2/new_log.2015-03-26.txt 
agent.sources.s1.channels = c1

agent.sinks.sk1.type = logger
agent.sinks.sk1.channel = c1

#In Memory !!!
agent.channels.c1.type = memory
agent.channels.c1.capacity = 10004
agent.channels.c1.transactionCapacity = 100

设置跟踪目录方式

agent.sources = s1
agent.channels = c1
agent.sinks = sk1

#设置spooldir
agent.sources.s1.type = spooldir
agent.sources.s1.spoolDir = /usr/local/logstash-1.4.2/logs
agent.sources.s1.fileHeader = true

agent.sources.s1.channels = c1
agent.sinks.sk1.type = logger
agent.sinks.sk1.channel = c1

#In Memory !!!
agent.channels.c1.type = memory
agent.channels.c1.capacity = 10004
agent.channels.c1.transactionCapacity = 100