超级会员免费看
本文介绍了Flume的基础架构，包括source、channel和sink的角色。source作为数据源，如日志文件或端口数据；channel作为缓冲区，解决数据产生与消费速度不匹配的问题；sink负责将数据存储到如HDFS的系统中。Flume架构允许根据不同业务类型将数据分发到不同的存储路径。
然后我们来看flume的基础架构
可以看到,其实就是,web server等产生了日志数据,比如一个日志文件,然后
这个日志文件,会被作为source数据源,这个数据源是一个日志文件,也可以是一个端口数据,
然后source数据源的数据,会走到channel,通过这个通道,传输,然后最终走到,sink中去.
sink(下沉)的作用就是把数据,存储到不同的存储系统中,比如HDFS中.
我们来看各个组件的内容,首先agent.
source channel sink
source数据源,可以看到netcat,我们知道是端口数据,然后spooling directory,taildir...这种是
文件数据.
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
