简单介绍一下Flume:
agent:flume运行的最小单元,独立运行在一个JVM中。一个agent里面包括一个或多个sources,channels,sinks
source 和 channels可以有一对多的关系
sink 和 channel 是一对一的关系
client : 相当于数据产生的位置
source :从客户端产生数据的位置收集数据
channel:数据管道(缓存)用于接收source的数据然后将数据推送给sink
sink:接收channel推送的数据,并将其存储到外部的存储系统中
event:事件,一个event相当于一条数据,是一个不可分割的整体
interceptor:拦截器,作用于source和channel,channel和sink之间,将符合条件的数据进行过滤,或者对对数据进行标记,flume也支持拦截器链
selector:选择器,决定数据流向哪个channel,作用于source和channel之间,channel和sink之间,
flume提供的选择器有两种replicating(复制选择器),multiplexing(多路复用Channel选择器)
复制Channel选择器