
Flume
文章平均质量分 84
MaggieCN0622
这个作者很懒,什么都没留下…
展开
-
Flume 案例
案例官网例子 监听localhost机器的44444端口,接收到数据sink到logger终端example.conf: A single-node Flume configuration第一步:配置example.conf文件(如果是本地windows写好再上传到服务器,一定要确认是否为unix格式。方法:vi example.conf : set ff? unix 就是对的)我的是在flume 文件夹## Name the components on this agent原创 2021-09-05 16:40:44 · 479 阅读 · 0 评论 -
Flume 架构
Flume 架构Flume 架构图上图是Flume官网最基础的数据流图。后面还会介绍多路复用、拦截等不同配置。Flume Event定义一行文本内容被反序列化成一个event。event的最大定义为2048字节,超过会被切割放到下一个event中。event 包含两个 header、bodyheader是一个map,body是一个字节数组body是真正传输的数据,header传输的数据不会被sink出去。源码Event.java (Interface)package or原创 2021-09-03 14:51:41 · 410 阅读 · 0 评论 -
Flume 简介
Flume 简介官网: http://flume.apache.org/Flume 可视为数据的搬运工,一般用来收集日志,将日志数据从A->B优势官网对Flume的介绍如下:Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and原创 2021-08-30 10:53:09 · 223 阅读 · 0 评论