qq_43662627的博客

#解压到指定文件夹tar -zxf apache-flume-1.7.0-bin.tar.gz -C /export/servers/flume#修改flume目录下的conf配置文件mv flume-env.sh.template flume-env.sh#添加Java_Home路径(flume依赖java)#查找java路径echo $JAVA_HOME#修改配置文件vi flume-env.sh#添加配置export /export/servers/jdk...

spoolingDirsource是安全的，不会丢失数据，但采集文件时不可以被修改，且文件不能重名#a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔a1.sources = r1a1.sinks = k1a1.channels = c1#组名名.属性名=属性值a1.sources.r1.type=spooldira1.sources.r1.spoolDir=/root/flume#定义chanela1.channels.c1.type=memory

mkdir jobcd job/vim flume-netcat-logger.conf# Name the components on this agenta1.sources = r1 a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444# D

要点：1.linux上必须有hadoop，并已经启动起来，因为使用的是hadfsink2.在a2.sources.r2.command必须需要使用流式命令，如tail，cat，而不是如 date之类的a2.sources = r2a2.sinks = k2a2.channels = c2# Describe/configure the sourcea2.sources.r2.type = execa2.sources.r2.command = tail -F /export/serve

Taildirsource采用的是正则表达式，不可随意修改名字否则回出现重复采集问题1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔a1.sources = r1a1.sinks = k1a1.channels = c1#组名名.属性名=属性值a1.sources.r1.type=TAILDIRa1.sources.r1.filegroups=f1 f2 f3a1.sources.r1.filegroups.f1=/root/flume/01a1.so

常用组件①avrosource： 监听一个avro的端口，从另一个avro客户端接受event!必须配置：type – The component type name, needs to be avrobind – hostname or IP address to listen onport – Port # to bind to②avrosink： 将event转为avro格式的event，发送给指定的主机和端口必须配置：type – The component type name,

-----------------------hadoop01--agent1------------------#a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔a1.sources = r1a1.sinks = k1 k2a1.channels = c1a1.sinkgroups = g1a1.sinkgroups.g1.sinks = k1 k2#a1.sinkgroups.g1.processor.type = failover#a1.sink