BornZhu的博客

1.Flume和Kafka整合框架2.写FLUME的agent配置文件exec-memory-avro.confexec-memory-avro.sources = exec-sourceexec-memory-avro.sinks = avro-sinkexec-memory-avro.channels = memory-channelexec-memor

条件有限，在一台机器上进行了测试思路是这样：将一台服务器部署的flume中的sink对接到另一台服务器flume中的source。那么，agent 1：exec source + memory channel + avro sinkagent 2 : avro source + memory channel + logger sink1.写配置文件配置文件一 example3.

1.写配置文件agent:exec source + memory channel + logger sinka1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = exec #exec source 可以运行一个给定的shell命令a1.sources.r1.command = tail -

1.写配置文件（1）配置Source（2）配置Channel（3）配置Sink（4）串联三个组件a1:agent的名称r1:source的名称k1:sink的名称c1:channel的名称#agent的定义a1.sources = r1a1.sinks=k1a1.channels=c1#描述、配置sourcea1.sources.r1.typ

1.Flume安装前置条件（1）Java1.7或以上版本（2）足够的内存（3）足够的磁盘空间（4）目录读写权限2.Flume的下载搜索cdh5，找到flume-ng-1.6.0-cdh5.7.0.tar.gz，右键复制链接地址，wget下载flume的安装包3.Flume的安装将下载好的安装包解压到相应目录，tar -zvxf -C4.Flume环境变量配置