Flume 1.7 源码分析（二）整体架构

最新推荐文章于 2024-05-06 23:58:29 发布
原创 最新推荐文章于 2024-05-06 23:58:29 发布 · 4.2k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Flume #源码分析 #整体架构

Flume的三大组件包括Source、Channel和Sink。Source作为数据来源，如Web Server日志，通过ExecSource监听并传递给Channel。Channel作为缓存队列，保证Source和Sink的读写速度匹配。Sink负责从Channel读取数据并存储到目标如HDFS或日志文件。启动时，SourceRunner和SinkRunner负责各自组件的运行，SourceRunner启动Source的监听和发送数据，SinkRunner循环调用Sink进行数据存储。

Flume 1.7 源码分析（一）源码编译
Flume 1.7 源码分析（二）整体架构
Flume 1.7 源码分析（三）程序入口
Flume 1.7 源码分析（四）从Source写数据到Channel

3 整体架构

Flume有三大组件：Source、Channel、Sink。

Flume组件图

  • Source就是数据来源，例如Web Server产生日志后，可使用ExecSource执行tail -F命令后不断监听日志文件新生成的数据，然后传给Channel。
  • Channel就是一个缓存队列，由于读取数据和写入数据的速度可能不匹配，假如用同步完成的方式可能效率低下，所以Source把数据写到Channel这个队列里面，Sink再用另外的线程去读取。
  • Sink就是最终的存储，例如可以是HDFS或LOG文件输出等，Sink负责去Channel里面读取数据，并存储。
最低0.47元/天 解锁文章
Flume源码分析(Flume Source Code Analysis)
AI天才研究院
08-31 1796
作者：禅与计算机程序设计艺术 1.简介 Apache Flume是一个开源、分布式、高可用的海量日志采集、聚合和传输系统。它最初起源于Yahoo！公司，由开发者在2007年创建，主要用于收集网站访问日志并将其传送到HDFS上。目前Flume已经成为Apache顶级项目，并已经成为大数据处理中必不可少的组
日志收集之flume-ng源码分析
热门推荐
hpttlook的专栏
04-01 1万+
Flume-ng 源码分析 简介     近期由于项目需要开发独特的flume-source，因此简单看了下flume的源码。Flume的架构还是比较简单，各个模块功能源码比较清晰。 源码目录结构          flume-ng-channels          里面包含了filechannel和jdbcchannel的实现；没有追过早期的flume代码，不过从这目录结构看来，m
Apache Flume 源码解析
loki的博客
01-04 1111
第一步：源码下载 进入官网：http://flume.apache.org/index.html 进入下载页面： 点击下载：https://mirrors.bfsu.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-src.tar.gz 第二步：加压项目,导入IDE 解压到目录： 导入到IDE： 第三步：查看启动脚本，找到程序入口 查看目录：bin/flume-ng 找到启动类：org.apache.flume.no.
flume源码分析
u013221557的博客
11-30 947
1、LifecycleAware  public interface LifecycleAware {    public void start();    public void stop();    public LifecycleState getLifecycleState();  }  所有核心组件，全都实现这个接口。通过start，stop启动关闭，通过LifecycleSta
Flume 1.7 源码分析（一）源码编译
Lnho的专栏
02-26 4940
1 说明Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，目前已经是Apache的一个子项目。Flume是一个专用工具被设计为旨在往HDFS、HBase发送数据。它对HDFS有特殊的优化，并且集成了Hadoop的安全特性。本文将详细分析Flume核心模块的源码实现。2 下载、编译2.1 源码检出Flume源码的git地址是：https://git-w
Flume 1.7 源码分析（三）程序入口
Lnho的专栏
02-27 4356
Flume 1.7 源码分析（一）源码编译 Flume 1.7 源码分析（二）整体架构 Flume 1.7 源码分析（三）程序入口 4 程序入口启动Flume的过程可以简单分为2个步骤： 1. 获取相关配置文件（一般来说就是flume-conf.properties）。 2. 启动各组件。不特别说明，本文中的组件是指实现了LifecycleAware接口的类的对象，一般就是
Flume 1.7 源码分析（五）从Channel获取数据写入Sink
Lnho的专栏
03-04 3786
6 从Channel获取数据写入Sink6.1 Sink部分Sink部分主要分为以下3个步骤： 1. 由SinkRunner不断调用SinkProcessor的process方法。 2. 根据配置的SinkProcessor的不同，会使用不同的策略来选择sink。SinkProcessor有3种，默认是DefaultSinkProcessor。 3. 调用选择的sink的process
【基于Hadoop3.3.6+Spark3.4.3电商用户行为分析】
最新发布
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
05-06 1654
电商用户分析是指对电商平台上的用户进行细分和分析，以了解用户特征、行为和需求，从而优化产品、服务和营销策略。本文主要利用Spark框架分析用户在电商平台上的行为，如浏览商品、购买商品、添加到购物车等，以了解用户的购买意愿、偏好和行为路径，针对其中部分数据分别统计出用户点击行为、下单行为、支付行为以及网站的浏览量PV等数据，进而分析电商系统的用户转化率、用户留存率等指标，帮助电商企业更好的实现经营目标。系统整体流程介绍： 本系统采用Spark框架对电商日志进行处理和分析，并将处理结果存入MySQL中，再通过s
flume1.7.0源码
05-19
flume源码
Flume-NG启动过程源码分析（一）(原创)
weixin_30768661的博客
04-16 180
　　从bin/flume 这个shell脚本可以看到Flume的起始于org.apache.flume.node.Application类，这是flume的main函数所在。 　　main方法首先会先解析shell命令，如果指定的配置文件不存在就甩出异常。 　　根据命令中含有"no-reload-conf"参数，决定采用那种加载配置文件方式：一、没有此参数，会动态加载配置文件，默认每30秒加载...
16_Flume之源码分析
weixin_40727028的博客
04-16 485
随后，这个轮询线程会通过 Guava 的 EventBus 机制通知 Application 类配置发生了更新，从而触发 Application#handleConfigurationEvent 方法，重新加载所有的组件。组件的start方法是在 MonitorRunnable 的run方法中调用的，MonitorRunnable 是一个线程，run方法中会获取当前组件的状态(默认STOP)以及预期的状态(START)，如果不相等则通过预期的状态执行相应的逻辑（ETCD直呼内行~~~）
flume【源码分析】分析Flume的拦截器
weixin_34023863的博客
12-29 236
flume-拦截器 　　有的时候希望通过Flume将读取的文件再细分存储，比如讲source的数据按照业务类型分开存储，具体一点比如类似：将source中web、wap、media等的内容分开存储；比如丢弃或修改一些数据。这时可以考虑使用拦截器Interceptor。 　　flume通过拦截器实现修改和丢弃事件的功能。拦截器通过定义类继承org.apache.flume.intercept...
flume源码阅读-总体介绍
Norman_Li的技术点滴
04-02 780
flume源码阅读之总体介绍 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume官网地址: Flume ， 源代码地址:source为什么读flume源代码 为什么要去读flume的源码，最近公司的
flume 1.8.0 源码简析
undergrowth的专栏
04-27 1641
flume 1.8.0 源码简析 概述 参考 https://www.jianshu.com/p/0187459831af https://blog.csdn.net/anjing900812/article/details/48999067 基础类----org.apache.flume.lifecycle.LifecycleAware----生命周期管理 代码流 ...
Flume 1.9.0 源码解析 : 一篇文章弄清Flume 程序启动流程
张伯毅的专栏
03-16 4879
一 .环境准备. 1.配置文件: example.conf # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure t...
玩转Flume之核心架构深入解析
weixin_34358365的博客
04-01 405
前段时间我们分享过玩转Flume+Kafka原来也就那点事儿和Flume-NG源码分析-整体结构及配置载入分析这二篇文章，主要介绍了flume的简单使用和配置文件加载的全过程，那么今天我们重点分析flume核心原理，从而了解Source、Channel和Sink的全链路过程。 一、Flume架构分析 ...
02. flume-ng 核心源码解析【小明同学】
u011046509的博客
04-06 703
文章目录flume-ng 核心代码解析org.apache.flume.node.Application#main 解析PollingPropertiesFileConfigurationProvider 构造函数Application 构造函数eventBus.register(application)然后我们继续看下 application.start() 方法，不用想，我们的核心入口就在这个 start 方法里了。接下来我们就看下 org.apache.flume.lifecycle.Lifecycl
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值