flume 安装及简单使用

flume 安装及简单使用

简介

flume 是一个分布式、高可靠、高可用的，用来采集、聚合、传输海量日志数据的系统。

下载

官网
https://flume.apache.org/download.html

安装

//解压下载安装包
tar -zxvf apache-flume-1.11.0-bin.tar.gz

//变更目录
mv apache-flume-1.11.0-bin flume

flume 是免安装的，直接解压，在bin目录下执行

简单示例

运行官网简单示例，启动一个flume实例，监听端口的输入,在控制台中输出。
flume 是基于配置文件去提供功能的，，所以使用第一步是要先定义配置文件。

1、定义配置文件

//解压目录建配置文件netcat-memory-logger.conf
mkdir job
cd job
touch netcat-memory-logger.conf

netcat-memory-logger.conf 内容如下（官网粘贴的，定义了sources、channels、sinks）：

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.s