Flume学习笔记之初识（二）

最新推荐文章于 2024-06-30 11:39:27 发布
最新推荐文章于 2024-06-30 11:39:27 发布
阅读量590 收藏
点赞数
分类专栏： Flume 文章标签： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xuxiuning/article/details/52687622
版权
本文详细介绍了Apache Flume的数据流机制，包括single flow、multiple flow、multi agent flow以及fan out flow的两种实现方式。强调了source、channel、sink的type属性配置，特别指出channel的required和optional特性，并探讨了Interceptor在事件处理中的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

三、flume数据流
一个source可以有多个channel，
但一个sink只能有一个channel
source、channel、sink均需要设定一个type属性，来表示组件的类型。 可配置内置的type名称，如netcat、memory、hdfs
（详见SourceType.java、ChannelType.java、SinkType.java）
或配置自定义类名，如org.apache.flume.source.scribe.ScribeSource、org.apache.flume.channel.kafka.KafkaChannel等
1 single flow

这里写图片描述

2 multiple flow
这里写图片描述

3 multi agent flow
两个agent可以通过avro数据传输格式连接：
这里写图片描述
图：agent1的sink与agent2的source需采用avro/thrift对接

4 fan out flow

方式1：replicating 一个event将发送至所有的channel
这里写图片描述

方

最低0.47元/天 解锁文章
大数据学习笔记46：初识日志收集系统Flume
howard2005的专栏
02-11 628
文章目录一、Flume概述二、两个版本差异1、Flume0.9.x版本2、Flume1.x 版本三、Flume与Scribe对比四、Flume总体架构五、Flume运行机制1、agent的三个核心组件（1）source（源）（2）channel（通道）（3）sink（接收器）2、完整工作流程3、event（事件）六、Flume基本用法1、flume多级流动2、flume数据流合并3、flume数据...
Flume 从0到高手一站式养成记
Amo Xiang的博客
08-07 906
文章目录一、学前必备知识二、极速入门 Flume三、极速上手 Flume 使用3.1 案例：Flume 的 Hello World!3.2 案例：采集文件内容上传至 HDFS3.3 案例：采集网站日志上传至 HDFS四、Flume 高级组件4.1 Source Interceptors4.2 Channel Selectors4.3 Sink Processors4.4 Failover Sink Processor五、Flume 出神入化篇 一、学前必备知识 2021年 全网最细大数据学习笔记（一）：初
scribe数据接入flume问题解决方法
小麒麟的成长之路
09-18 1789
原先的日志收集系统采用scribe方式，对接hadoop，原先对接的是hadoop1，现在由于系统升级需要对接到hadoop2上去，但是Facebook已经停止了对scribe的维护，现有版本的scribe在对接过程中存在很多问题，研究后决定采用更加方便强大的flume进行数据对接。 之前的项目中有个程序将数据打包成scribe的格式后传递给scribe，现在需要继续使用这个发送程序，所以相当于
flume初探
hpttlook的专栏
11-28 4612
flume的历史 flume最早是由cloudera开发的一个分布式的、高可用、高可靠的日志收集系统。后将项目转移到apache进行管理，目前属于apache的定级项目。 flume版本 在项目进入apache后，对flume进行了大规模的整体重构，由原始的一个分布式系统，逐渐的变为一个tool或者service。不再包含zookeeper等逐渐，也不存在master等管理节点。
flume一：flumeSource介绍
licw_0909的博客
12-17 1005
flume介绍 首先,flume是一个分布式、可靠和可用的系统,
详解scribe+flume搭建高可用的负载均衡日志收集系统入hadoop和kafka
小麒麟的成长之路
09-28 2875
一、系统架构 为增强系统的可靠性，flume系统分为agent层和collector层 agent层是每个每个需要收集日志的主机，有若干台，可自由扩展；每台agent机器运行一个carpenter程序将相应目录下的日志信息发送给本机上的flume source，对应avro sink将数据推送到两台collector（采用均衡负载的方式推送，若其中一台collector故障则全部推送给另一台）
Flume 中文入门手册
三分地
04-25 7060
原文：https://cwiki.apache.org/confluence/display/FLUME/Getting+Started 什么是 Flume NG? Flume NG 旨在比起 Flume OG 变得明显更简单，更小，更容易部署。在这种情况下，我们不提交Flume NG 到 Flume OG 的后向兼容。当前。我们期待来自感兴趣测试Flume NG 正确性、易用性和与别的系
Flume学习笔记之初识（一）
技术大神之路
09-27 493
前言：今天开始每天抽两个小时研究Flume，从初步使用到深入的源代码探究，以期通过这个开源项目深入的学习java。目标是2016年内熟悉整个Flume项目，能做插件的开发。一、 基本概念引入： Flume是一个分布式的，可靠的，高可用的海量日志采集、聚合、传输的系统。 数据流模型：source-channel-sink + topology （图1） 事务机制保障了消息传递的可靠性。 有丰富
Flink学习笔记
君永夜
08-27 1812
前言：Flink是当前主流的实时计算框架，阿里的Blink重构了Flink即能做全量数据的批处理，也能做增量数据的实时处理；大数据的业务数据处理分为两个步骤：全量数据批计算，以及增量数据的实时计算，有时处理的业务逻辑是一致的但是代码确是两套，繁琐；当前主流的大数据实时计算框架有： Spark Streming、Kafka Streaming、Storm、Flink、Blink（阿里双十二的主流实时...
【BoostKit大数据】业界趋势、鲲鹏大数据组件增强特性和典型配置笔记
Jack20的博客
06-30 1771
华为早在2004年开始拥抱并积极建设ARM开源生态。2019年发布鲲鹏计算战略，鲲鹏作为ARM生态的重要组成内容，华为进一步聚焦发展鲲鹏生态。2020年发布鲲鹏BoostKit应用使能套件，全方位使能开源、贡献开源，繁荣鲲鹏的软件生态。目前，鲲鹏BoostKit已经使能超过90%主流开源软件支持鲲鹏平台，覆盖大数据、分布式存储、数据库、虚拟化等主流场景。未来三年内，鲲鹏BoostKit将聚焦使能主流开源软件支持鲲鹏平台发挥高性能提供全栈优化的应用加速能力。
Flume (八) Sources
WuTing的专栏
08-01 583
Avro Source 监听Avro端口并从外部Avro客户端流接收事件。 当与另一个（previous hop）Flume代理上的内置Avro Sink配对时，它可以创建分层集合拓扑。 必需属性以粗体显示。 属性名称 默认值 描述 channels – type – 组件类型名称，需要是avro bind – hostna...
Flume ——自定义Source采集源（Java代码）
我的博客
10-27 855
Flume ——自定义Source采集源
Flume相关技术汇总
一只没有脚的鸟
04-22 2801
这些知识基本来源网络，我自己收集了一下做个汇总。 1、简介 Flume支持在日志系统中定制各类数据发送方，用于收集数据。Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。 Flume提供对数据进行简单处理，并写到各种数据接受方（可定
百度坐标系、火星坐标系与WGS84坐标系互转方法
05-30
在IT领域，尤其是地理信息系统（GIS）中，坐标转换是一项关键技术。本文将深入探讨百度坐标系、火星坐标系和WGS84坐标系之间的相互转换，并介绍如何使用相关工具进行批量转换。 首先，我们需要了解这三种坐标系的基本概念。WGS84坐标系，即“World Geodetic System 1984”，是一种全球通用的地球坐标系统，广泛应用于GPS定位和地图服务。它以地球椭球模型为基础，以地球质心为原点，是国际航空和航海的主要参考坐标系。百度坐标系（BD-09）是百度地图使用的坐标系。为了保护隐私和安全，百度对WGS84坐标进行了偏移处理，导致其与WGS84坐标存在差异。火星坐标系（GCJ-02）是中国国家测绘局采用的坐标系，同样对WGS84坐标进行了加密处理，以防止未经授权的精确位置获取。 坐标转换的目的是确保不同坐标系下的地理位置数据能够准确对应。在GIS应用中，通常通过特定的算法实现转换，如双线性内插法或四参数转换法。一些“坐标转换小工具”可以批量转换百度坐标、火星坐标与WGS84坐标。这些工具可能包含样本文件（如org_xy_格式参考.csv），用于提供原始坐标数据，其中包含需要转换的经纬度信息。此外，工具通常会附带使用指南（如重要说明用前必读.txt和readme.txt），说明输入数据格式、转换步骤及可能的精度问题等。x86和x64目录则可能包含适用于32位和64位操作系统的软件或库文件。 在使用这些工具时，用户需要注意以下几点：确保输入的坐标数据准确无误，包括经纬度顺序和浮点数精度；按照工具要求正确组织数据，遵循读写规则；注意转换精度，不同的转换方法可能会产生微小误差；在批量转换时，检查每个坐标是否成功转换，避免个别错误数据影响整体结果。 坐标转换是GIS领域的基础操作，对于地图服务、导航系统和地理数据分析等至关重要。理解不同坐标系的特点和转换方法，有助于我们更好地处
基于PCI Express的FPGA加速器可重用集成框架RIFFA及其应用
05-30
内容概要：本文介绍了RIFFA（FPGA加速器可重用集成框架），这是一个通过PCI Express总线将数据从主机CPU传输到FPGA的简单框架。RIFFA支持多种操作系统（Windows和Linux）、FPGA品牌（Altera和Xilinx）以及编程语言（C/C++、Python、MATLAB和Java）。它提供了高效的DMA传输和中断信号传输机制，确保数据传输的高速和可靠性。硬件方面，RIFFA采用独立的发送和接收信号接口，通过FIFO接口实现事务握手。软件方面，用户可以通过简单的API调用与FPGA IP核进行通信。RIFFA支持多达5个FPGA设备，适用于大数据和计算密集型应用场景。 适合人群：对FPGA加速器感兴趣的硬件工程师、嵌入式系统开发者、从事高性能计算的研究人员和技术爱好者。 使用场景及目标：① 需要在主机CPU和FPGA之间高效传输大量数据的应用；② 希望简化FPGA编程和配置流程的研发团队；③ 需要跨平台支持（Windows和Linux）的项目。 其他说明：RIFFA已经在多个开发板上成功实现，并提供了详细的示例和指南，帮助用户快速上手。
增程式混合动力汽车建模仿真及整车策略开发详解 · 建模与仿真
最新发布
05-30
内容概要：本文详细介绍了增程式混合动力汽车的建模与仿真模型搭建，涵盖增程器、电机、电池、驾驶员模型及整车VCU控制模型。首先，文章解释了各个关键组件的工作原理和性能参数，接着描述了模型搭建的具体步骤，包括数据收集、各部件模型的建立、驾驶员模型和VCU控制模型的整合，最后通过仿真验证与优化来确保模型的有效性和准确性。此外，还探讨了基于模型的整车策略开发思路，如能量管理策略、纯电模式到增程模式的切换策略以及电量维持规则阈值参数设定。 适合人群：从事新能源汽车研发的技术人员、高校相关专业师生、汽车行业研究人员。 使用场景及目标：适用于新能源汽车尤其是增程式混合动力汽车的研发过程中，帮助相关人员掌握建模方法和技术细节，提高整车性能和效率。 其他说明：本文不仅提供了理论指导，还附有详细的实践步骤，有助于理解和应用增程式混合动力汽车的建模与仿真技术。
TypeError Event name already declared - 事件名称重复声明(解决办法).md
05-30
TypeError Event name already declared - 事件名称重复声明(解决办法).md
实训商业源码-全开源API短网址生成系统-毕业设计.zip
05-30
实训商业源码-全开源API短网址生成系统-毕业设计.zip
上传浏览器侧边栏，AI应用对话，方便用户快捷调用
05-30
上传浏览器侧边栏，AI应用对话，方便用户快捷调用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值