Flume中Memory Channel参数说明

最新推荐文章于 2024-08-08 18:22:43 发布
原创 最新推荐文章于 2024-08-08 18:22:43 发布 · 7.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Memory Channel

本文详细介绍了Channel配置中的关键参数，包括capacity、transactionCapacity等，并解释了这些参数的作用及默认值。
参数说明
capacity在 channel 中 最多能保存多少个 event。默认是100
transactionCapacity在每次从source中获取数据或者将数据sink出去的一次事务操作中，最多处理的 event 数。默认是100
byteCapacity在 channel 中最多能容纳 所有event body的总字节数。默认是 JVM最大可用内存（-Xmx ）的80% 。需要注意的是，如果你设置多个memory channel，并且它们的数据都是从同一个source来的，那么计算时是用所有channel中event body的字节数加起来计算的，也就是说会重复计算，所以需要注意一下。不建议将该值设置为0
byteCapacityBufferPercentage这个值的含义跟上面一样，只不过这个是计算event header跟最大可用内存的字节占比。默认是20，也就是最大可用内存的20%
keep-alive尝试添加或者删除一个event的超时时间，单位为秒。默认是3，也就是3秒
Flume面试整理-常见的Channel类型
不务正业的猿
10-16 759
不同类型的Channel提供了不同的性能和可靠性，适用于不同的应用场景。适用于对数据可靠性要求较高的场景。描述：Kafka Channel使用Apache Kafka作为事件存储和传输的中介，适用于需要高扩展性和高可靠性的数据流处理场景，尤其是Flume与Kafka集成时。每种Channel类型适用于不同的场景，配置时应根据数据处理的具体需求选择合适的Channel类型，以获得最佳的性能和可靠性。Memory Channel：适用于需要高吞吐量、低延迟的数据流处理场景，但不适合对数据可靠性要求较高的场景。
Memory Channel源码阅读笔记
SW_LCC的博客
08-18 309
Memory Channel 使用LinkedBlockingDeque实现, 数据基于双向队列存储，可从从两端取出，插入。 主要属性: LinkedBlockingDeque queue: 存放Event Semaphore queueStored : queue中已使用空间 private volatile Integer transCapacity :一个事务中Event的最大数目 Se...
Flume——memory channels
weixin_46967962的博客
03-18 647
Flume综述 Flume NG基本架构 ①一个agent包含Source,Channel,Sink和其他组件 ②一个agent对应一个配置文件 ③它利用这些组件将events从一个节点传输到另一个节点或最终目的 1.简单的多个agent互联，上游的sink对应下游的source 较复杂的多个agent互联，多个上游的sink对应下游的同一个source，并最终把数据写入HDFS 基本组件介绍 Event 数据在flume中流转的基本单元 Source 它负责接收数据源，把外部数据输入
Flume Channel配置
qq_29342297的博客
06-19 1510
Memory Channel 事件将被存储在内存中的具有指定大小的队列中。特点是速度快，但断电丢失数据。非常适合那些需要高吞吐量但是可以容忍极端情况下会丢失数据的场景下。 a1.channels.c1.type = memory（组件的类型，必须配置为memory） JDBC Channel 事件被持久存储在可靠的数据库中。提供较好的效率和可靠性可恢复性。目前支持嵌入式的Derby数据库。 a1.channels.c1.type = memory（组件的类型，必须配置为jdbc） a1.chan
Flume(二十一)Memory Channel
技术博客
08-08 341
Memory Channel是将收集来的数据临时存储到内存队列中，如果不指定，那么该队列默认大小是100，即最多允许在队列中存储100条数据。Channel可以批量接受Source的数据，也可将数据批量发送给Sink，transactionCapacity 属性，默认每一批数据是100条，实际过程中一般会把这个值调整为1000-3000。需要注意的是，Memory Channel是将数据临时存储在内存中，所以是不可靠的，但是数据的读写速度相对较快，因此适用于要求速度但是不要求可靠性的场景。
Flume： ------ Channel-通道、Memory、JDBC、Kafka、File Channel。
weixin_45764675的博客
05-26 1084
Apache Flume flume官方用户指南网址 Channel-通道 Memory Channel 将Source数据直接写入内存，不安全，可能会导致数据丢失。 transactionCapacity <= capacity a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 JDBC Channel 事件存储在数据库支持的持久性存储中。
Flume Memory Channel调优
a3125504x的博客
12-06 1606
Flume Memory Channel调优原文地址读后感原文版本一版本二版本三版本四版本五 原文地址 原文地址 读后感 通过加大batch size和transaction size来提高source到channel和channel到sink的吞吐量 通过加大capactiy来提高channel的容量，防止频繁填充率过高阻塞 通过增加多个channel来减小每个channel的填充量，减小flume节点宕机引起的数据丢失 此外，还可以修改flume-env.sh中的Xms和Xmx来增加flume的JVM
flume中：memory channel，file channel，jdbc channel，Psuedo Transaction Channel的区别
wyqwilliam的博客
09-07 2293
 当设计Flume数据流程图时，决定使用什么类型的channel将是至关重要的。在写这篇文章是，当前有几个channel可供选择，分别是Memory Channel, JDBC Channel , File Channel，Psuedo Transaction Channel。比较常见的是前三种channel。具体使用那种channel，需要根据具体的使用场景。这里我详细讲解File Channe...
Flume KafkaChannel的使用
upupfeng的博客
03-03 2230
Flume提供了Kafka Sink将数据写入Kafka，也提供了KafkaChannel使用Kafka作为Channel存储数据。 使用KafkaChannel既可以避免Memory Channel的内存溢出，又可以提供不错的性能。 另外当我们需要将数据写入Kafka时，可以不需要Sink，直接使用KafkaChannel就可以将数据写入Kafka，省去了Sink的开销。 以下简单介绍下KafkaChannel的使用。Flume的版本是1.9.0。 需要注意的几点 通常，与channel相关的配置值应用
Flume_Flume常用配置1_exec.source_memory.channel_logger.sink
迎难而上
05-17 1360
我们假定已经对Flume有一定了解，并且对Flume 的各个组件有一定了解。我们演示一个基本的 source  为 exec源channel 为 memorysink 为 logger 类型的配置示例：我们在解压好的目录下创建 2个子目录  my-conf, my-binmy-conf 存放了 对 agent (source, sink, channel) 的配置my-bin 存放了  agent...
Flume之 Memory类型的Channel
蒯厅博客
05-04 1018
简介 允许所有的数据存储在内存中(内存的大小是可以指定的)。 好处：速度快，吞吐量大 坏处：根据计算机工作的原理就可以得知，凡是在内存中计算的数据，只要电脑出现故障导致停机，那么内存中数据是不会进行保存的。 所适用的场景：高吞吐量，允许数据丢失的业务中。 配置项 说明 type memory capacity 100事件存储在内存中的最大数值。实际工作中，建议根据业务调整：4 ...
Flume之 各种 Channel 的介绍及参数解析
u011015740的博客
06-05 973
是否开启备份检查点，建议设置为true开启备份检查点，备份检查点的作用是当Agent意外出错导致写入检查点文件异常，在重新启动File Channel时通过备份检查点将数据回放到内存中，如果不开启备份检查点，在数据回放的过程中发现检查点文件异常会对所有数据进行全回放，全回放的过程相当耗时。Channel被设计为Event中转临时缓冲区，存储Source收集并且没有被Sink读取的Event，为平衡Source收集和Sink读取数据的速度，可视为Flume内部的消息队列。
Memory中的Channel/Rank/Bank解析
热门推荐
miaomao1989
05-26 5万+
Memory中的Channel/Bank/Rank解析最近在看网卡底层驱动的一些资料，被内存bank，rank，channel这些关于memory的名词搞得绕来绕去，网上查了一些资料，说得也不全面。在这里让我们一步一步来拆解memory的神秘面纱，从架构到读写逐步解开这块秘密。发挥性memory分两种，SRAM与DRAMRAM(Random Access Memory)随机存取内存，之所以叫做“随机
03-Flume的配置说明及案例演示
xixihaha_coder的博客
11-13 2165
Flume的配置说明 定义组件名称 要定义单个代理中的流，您需要通过通道链接源和接收器。您需要列出给定代理的源，接收器和通道，然后将源和接收器指向一个通道。一个源实例可以指定多个通道，但是一个接收器实例只能指定一个通道。格式如下: # list the sources,sinks and channels for the agent <Agent>.sources = <Source> <Agent>.sinks = <Sink> <Agent>.
flume的memeryChannel中transactionCapacity和sink的batchsize需要注意事项
joy6331的专栏
04-29 6789
最近在做flume的实时日志收集，用flume默认的配置后，发现不是完全实时的，于是看了一下，原来是memeryChannel的transactionCapacity在作怪，因为他默认是100，也就是说收集端的sink会在收集到了100条以后再去提交事务（即发送到下一个目的地），于是我修改了transactionCapacity到10，想看看是不是会更加实时一点，结果发现收集日志的agent启动的
Flume之MemoryChannel源码解读
ChengYanan的博客
10-30 899
一、MemoryChannel属性： 1.基本属性 //定义队列中一次允许的事件总数： private static final Integer defaultCapacity = 100; //定义一个事务中允许的事件总数： private static final Integer defaultTransCapacity = 100; //将物理内存转换成槽(slot)数，默认是100，看后边...
memorychannel的配置文件说明
qq_42506914的博客
03-28 621
The events are stored in an in-memory queue with configurable max size. It’s ideal for flows that need higher throughput and are prepared to lose the staged data in the event of a agent failures. Req...
Flume中的channel有哪些类型，有什么特点？
最新发布
07-13
内存Channel要强调其高吞吐但易失的特性，文件Channel则需解释checkpoint机制如何保障数据持久化，而Kafka Channel作为混合方案要说明其解耦优势。表格对比会很有帮助，但需包含关键指标如吞吐量、数据保障级别、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值