Flume监听端口

Flume概念及作用

作用

flume可以监听端口或者文件夹，对传输到此处的数据进行打印输出或上传hdfs等操作

概念

flume是Cloudera提供的一个基于流式系统高可用的、高可靠的分布式海量日志采集、聚合和传输系统

组件

Agent

Agent是一个JVM进程，是flume传输的基本单元

Source

Source是负责接收数据到Flume Agent的组件

Channel

Channel是位于Source和Sink之间的缓冲区

Sink

Sink不断轮询Channel中的事件且批量的移除他们，并将这些事件批量写入到存储或索引系统、或被发送到另一个Flume Agent

Sink是完全事务性的，在从Channel批量删除数据之前，每个Sink用Channel启动一个事务，数据一旦被提交，Channel则从自己的缓冲区删除事件

Flume的安装

1、在官网下载相应版本flume安装包

网址为：http://archive.apache.org/dist/flume/

在这里使用的flume版本为1.6

2、上传到linux并解压

这里使用xftp上传

解压并重命名为flume

tar -zxvf /apps/download/apache-flume-1.6.0-bin.tar.gz -C /apps
mv /apps/