Flume 总结（五）channels类型-1.9.0新版

最新推荐文章于 2023-04-19 19:16:11 发布
最新推荐文章于 2023-04-19 19:16:11 发布
阅读量355 收藏 1
点赞数
分类专栏： flume 行为日志 大数据 文章标签： flume 分布式 大数据 cloudera
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaohu21/article/details/109005821
版权
本文详细介绍了Flume 1.9.0版本中多种渠道(channel)的特性和应用场景，包括MemoryChannel、JDBCChannel、KafkaChannel、FileChannel等，并对比了它们在稳定性和速度上的表现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flume 总结（五）channels类型-1.9.0新版

1. channels

在这里插入图片描述

  1. Memory Channel在这里插入图片描述
  2. JDBC Channel
    在这里插入图片描述

可以通过JDBC对外进行数据缓存

  1. Kafka Channel

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  1. File Channel
    在这里插入图片描述
    在这里插入图片描述

顾名思义，采用文件channel是相对最稳定的，当然，如果有稳定的kafaka集群，稳定性更高，且速度更高。

  1. Spillable Memory Channel
    在这里插入图片描述

  2. Pseudo Transaction Channel在这里插入图片描述

不用用于生产环境

  1. Custom Channel
    在这里插入图片描述

自定义channel

Flume面试整理-常见的Channel类型
不务正业的猿
10-16 619
不同类型的Channel提供了不同的性能和可靠性，适用于不同的应用场景。适用于对数据可靠性要求较高的场景。描述：Kafka Channel使用Apache Kafka作为事件存储和传输的中介，适用于需要高扩展性和高可靠性的数据流处理场景，尤其是Flume与Kafka集成时。每种Channel类型适用于不同的场景，配置时应根据数据处理的具体需求选择合适的Channel类型，以获得最佳的性能和可靠性。Memory Channel：适用于需要高吞吐量、低延迟的数据流处理场景，但不适合对数据可靠性要求较高的场景。
Flume-1.9.0安装、监听端口、监控本地文件并上传HDFS、监控目录新文件并上传HDFS、监控追加文件（断点续传）
H_X_P_的博客
06-04 2086
Flume-1.9.0安装、监听端口、监控本地文件并上传HDFS、监控目录新文件并上传HDFS、监控追加文件（断点续传）
flume1.8 Channel类型介绍（四）
Swordfall的博客
01-04 470
1. Flume Channel Channels是events在agent上进行的存储库。Source添加events，Sink移除events。 1.1 Memory Channel（内存Channels） events存储在配置最大大小的内存队列中。对于流量较高和由于agent故障而准备丢失数据的流程来说，这是一个理想的选择。 agent a1示例： 1.2 JDBC ...
Flume的Channel类别
yeserumo的博客
03-30 566
Memory：内存通道，这个channel是将数据临时存储在内存中的，特点是读写快但是不可靠，如果考虑吞吐量，那么推荐使用Memory Channel。其常用参数有Capacity表示信道存储的最大事件数量，默认为100，建议实际工作调整为10万；transactionCapacity表示每个事务的最大事件数，默认为100，建议实际工作调整为1000~3000 File：文件通道，这个channel将数据临时存储在硬盘中，特点是可靠但是读写速度相对较慢，如果考虑数据的稳定性，推荐使用 JDBS：将数据临时.
Flume之 各种 Channel 的介绍及参数解析
weixin_40727028的博客
04-06 7255
一、Channel介绍 Channel被设计为Event中转临时缓冲区，存储Source收集并且没有被Sink读取的Event，为平衡Source收集和Sink读取数据的速度，可视为Flume内部的消息队列。Channel线程安全并且具有事务性，支持source写失败重复写和sink读失败重复读等操作。 常用的Channel类型有Memory Channel、File Channel、KafkaChannel等。 1、Memory Channel 对比Channel, Memory Channel读写速度快
flume 的Channel的种类
wuhahaq的博客
04-19 949
下游数据传输使⽤的是Kafka作为消息队列来传输消息，使⽤Kafka的主要原因是因为Kafka的⾼吞吐量以及可以对数据进⾏分类也就是不同的topic，⽅便下⼀层的使⽤，整体的架构是采⽤Lamda架构设计的，实时和离线都会从Kafka中获取数据来进⾏处理,⽽且还有其他的业务线也是从Kafka中获取数据的,这样做以后可以有效的提⾼数据的复⽤减少数据的冗余。主要是为了对接Kafka，使⽤这个可以节省Sink组件也可以提升效率的，我们项⽬中使⽤的就是这个Channel，因为下⼀层是使⽤Kafka来传递消息的。
apache-flume-1.9.0-bin.tar.gz
07-28
标题 "apache-flume-1.9.0-bin.tar.gz" 暗示这是 Apache Flume 的 1.9.0 版本的二进制分发包，以 tar.gz 格式压缩。这个版本的 Flume 已经预先编译完成，用户下载后可以直接进行安装和使用，无需自行编译源代码。 ...
apache-flume-1.9.0-bin.tar.zip
10-07
Apache Flume 1.9.0 版本是该软件的一个稳定版本，包含了若干改进和修复。 在Flume的架构中，数据流动通过三个核心概念：源头（Sources）、通道（Channels）和接收器（Sinks）。这些组件协同工作，确保数据的高效...
flume-1.9.0.tgz
10-24
"flume-1.9.0.tgz" 是 Flume 的一个版本压缩包，包含了该版本的所有源码、库文件和必要的配置文档。 **Flume 的基本概念和架构** Flume 主要由三个核心组件构成：Sources、Channels 和 Sinks。Sources 负责接收...
Flume1.9.0配置
m0_64900521的博客
12-10 2146
一、把安装包拉到/opt/software/下面 把apache-flume-1.9.0-bin.tar.gz的安装包拉到/opt/software/下面 二、解压 cd /usr/local/soft tar -zxvf apache-flume-1.9.0-bin.tar.gz-C /opt/module/ 三、添加系统环境变量(需配置Java JDK系统参数) 切换到cd /opt/module/下面 vi /etc/profile exp...
Flume的Channel分类
围城客的专栏
11-13 6779
channel可以理解为一种临时的存储，source将event放入channel ,sink取走它。flume提供了四种可以用于生产环境的channel。 1.Memory Channel 基于内存的channel，实际就是将event存放于内存中一个固定大小的队列中。其优点是速度快，缺点是可能丢失数据。 可配置属性如下： 属性 默认 说明 type – 这里为...
flume channel 选择
Hui950317的博客
04-11 1807
1.Memory Channel type=memory 内存通道是一个内存队列，源将事件写入其尾部，接收器从其头部读取事件。内存通道存储堆上的源写入它的事件。我们可以配置最大尺寸。 由于它将所有数据存储在内存中，因此提供了高吞吐量。它最适合那些不担心数据丢失的流。它不适用于涉及数据丢失的数据流 2.File Channel type=file 它是 Flume 的持久通道。文件通道将所有水槽事件写入磁盘。即使进程或机器关闭或崩溃，它也不会丢失数据。 此通道确保仅当接收器使用事件并提交事务
Flume中常用Source和Channel类型的特点
qq_54021998的博客
04-06 556
Source选择 NetCat Source 一个NetCat Source用来监听一个指定端口，并将接收到的数据的每一行转换为一个事件。 TailDir Source： 断点续传、多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置，实现断点续传。 Exec Source 可以实时搜集数据，但是在Flume不运行或者Shell命令出错的情况下，数据将会丢失。 Spooling Directory Source 监控目录，支持断点续传。 Channel选择 Kafka Channel
Flume常用Channel说明
GCH6969的博客
09-02 1437
1.Channle 常用Channel 配置 Memory Channel channel 是在 Agent 上暂存 Event 的缓冲池。 Event由source添加，由sink消费后删除。 配置范例： a1.channels = c1 a1.channels.c1.type = memory a1.channels.c1.capacity = 10000 a1.channels.c1.transactionCapacity = 10000 a1.channels.c1.byteCapacityBuf
4 Channels
LK-T.O.P的博客
06-21 438
通道是 Nextflow 在工作流中发送数据的方式。通道通过它们的输入和输出连接进程。 通道可以存储多个项，比如文件(例如 fastq 文件)或值。通道存储的项数决定了使用该通道作为输入的进程将运行多少次。...
08_Flume_Selector实践
weixin_30824599的博客
12-03 114
实践一：replicating selector 1、目标场景 selector将event复制，分发给所有下游节点 2、Flume Agent配置 Agent配置 # Name the components on this agent a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 c2 ...
Flume中提供的channel实现主要有三个(channel.type)
brave_zhao的博客
05-18 1284
1.memory channel : event保存在Java Heap(堆内存)中，如果允许数据少量丢失，推荐使用；由于事件event缓存在存储器中，因此不具有持久存储能力；如果代理重新启动，事件就会丢失；与fil## 标题e channel比较，memory channel的优势在于具有较高的吞吐量； 2.file channel : 这种类型的channel具有持久性：只要事件被写入该类型的channel,即使代理重新启动，事件也不会丢失；event保存在本地文件中，可靠性高；但吞吐量低于前者； 3.
Flume：三种channel比较
不花的花和尚的博客
10-15 6226
Flume中提供的Channel实现主要有三个： Memory Channel     event保存在Java Heap中。如果允许数据小量丢失，推荐使用 File Channel                  event保存在本地文件中，可靠性高，但吞吐量低于Memory Channel JDBC Channel          event保存在关系数据中，一般不推荐使用  ...
Flume_Channel
Regan_Hoo的博客
12-06 761
事务工作流Flume Channel是事务性的，由于性能的原因总是推荐每个事务有相当大数量的事件，批量写入Channel是很重要的，尤其是持久的Channel。如果sink读取完一个事件，该事件对于其他sink就是不可用的，除非回滚该sink事务。单个事务不能同时写入和读取事件。这保证了source只能往channel中放入事件，sink只能从channel中取走事件。 flume自带的channe
进入apache-flume-1.9.0-bin\conf文件夹中创建一个example.conf文件
最新发布
04-08
### 创建 Apache Flume 的 `example.conf` 配置文件 要在 Apache Flume 1.9.0 的 `conf` 目录下创建名为 `example.conf` 的配置文件，可以按照以下方法操作： #### 方法一：通过 Linux 命令行创建 如果操作系统为 Linux 或 macOS，可以通过终端执行以下命令来创建并编辑该文件。 1. 使用 `touch` 命令创建一个新的空文件： ```bash touch /opt/soft/flume-1.9.0/conf/example.conf ``` 2. 编辑新创建的文件，可使用任何文本编辑器（如 `vi`、`nano` 等）。以下是使用 `vi` 进行编辑的例子： ```bash vi /opt/soft/flume-1.9.0/conf/example.conf ``` 3. 在打开的文件中输入所需的 Flume 配置内容。例如，假设要定义一个简单的 Agent 配置如下： ```properties # 定义 agent 组件 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述 source 配置 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # 描述 sink 配置 a1.sinks.k1.type = logger # 描述 channel 配置 a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # 将 source 和 sink 关联到 channel 上 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 ``` 4. 保存并退出编辑器。 --- #### 方法二：通过图形界面工具创建 如果在 Windows 系统上解压了 Flume 并希望手动创建文件，则可以按以下步骤操作： 1. 找到 Flume 解压缩后的路径 `/opt/soft/flume-1.9.0/conf` 对应的位置。 2. 右键点击空白区域，选择 **新建 -> 文本文件**，命名为 `example.conf`。注意去掉扩展名 `.txt`，确保最终文件名称为纯 `example.conf`。 3. 使用记事本或其他文本编辑器打开此文件，并粘贴上述示例中的配置内容。 4. 保存文件后关闭编辑器。 --- #### 启动 Flume 测试配置文件 完成以上步骤后，可通过以下命令验证 `example.conf` 是否正常工作： ```bash flume-ng agent --conf ../conf --conf-file ../conf/example.conf --name a1 -Dflume.root.logger=INFO,console ``` 这会加载刚刚创建的 `example.conf` 文件，并启动指定的 Agent 名称为 `a1` 的服务[^2]。 --- ### 注意事项 - 如果未找到 `flume-ng` 脚本，请确认已正确安装 Flume 并将其 bin 目录加入 PATH 中[^4]。 - 若遇到权限问题，在 Linux 下可能需要以管理员身份运行命令，比如加上 `sudo` 前缀。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值