flume消费文件夹消费不及处理办法

最新推荐文章于 2022-08-29 21:34:09 发布
最新推荐文章于 2022-08-29 21:34:09 发布
阅读量1.8k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： flume channel
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gaopu12345/article/details/78596686
本文介绍当使用Flume处理大量数据时，如何通过调整maxBackoff参数来解决消费不及的问题，确保数据处理流程更加顺畅。

文件生产速度过快，flume会出现消费不及的现象，下面这个参数调节一下应该会有改善：
maxBackoff
这个参数代表当source向channel放数据时检测到channel满了后等待多久再进行重试，默认是4秒。如果已经出现消费不及现象，channel频繁被撑满，然而满了后还要等很久，造成文件越来越多，降低这个参数可以有效缓解消费不及。
官网链接：http://flume.apache.org/FlumeUserGuide.html#spooling-directory-source

Flume系列之：记录一次上游数据库产生大量数据导致flume agent数据堆积和服务器IO打满，严重影响下游任务的快速应对处理方法
zhengzaifeidelushang的博客
03-26 1196
Prod环境和Stg环境要严格分开，prod flume agent只接入prod环境的数据库，stg flume agent只接入stg环境的数据库，并且prod的flume agent和stg的flume agent需要部署在不同的服务器上。服务器做条带划分，例如申请4块盘做条带化，那么iops和吞吐量都可以达到4倍，能够明显的提高flume agent读写文件的能力。
Flume监控文件内容拉取到Kafka消费
Mr Huo
11-30 2527
1 zookeeper的安装配置 1.1 ZK配置(安装过程省略) 1.1.1安装完成后进入到zk的安装目录下的conf目录 [hadoop@mini01 ~]$ cd /home/install/zookeeper/conf [hadoop@mini01 conf]$ 1.1.2重命名zoo_sample.cfg 为zoo.cfg [hadoop@mini01 conf]$ mv zoo_s...
使用flume消费kafka数据时，不成功问题解决
qq_39576369的博客
09-19 3324
做电商数仓项目时，遇到了一个奇怪的问题，flume消费kafka时，在hdfs上没有传递过来数据，这样我很头疼，经过测试，我发现在kafka中可以读取到日志采集flume发过来的数据，这就证明在消费flume之前的配置是没有问题的，后来我找到了问题所在。 由于是才有脚本群起的集群，在生成日志时，消费者flume由于没有完全启动的原因，使其在消费数据时不成功，所以应该在群起脚本中设置sleep时间，...
flume file channel 异常解决
wangchaoqi1985的博客
05-29 225
flume file channel 异常解决
flume之Channel
赶路人儿
12-01 2786
Channels 是一个 Agent上存储 events 的仓库，Source 向其中添加 events，而 Sink从中取走移除 events。本文重点介绍memory channel和file channel。 1、memory channel： Source 添加的 events 都暂存在内存队列中，它非常适合那些需要更高吞吐量的数据流，但代价是一旦一个 agent 失败后，其中存储的e
Flume
weixin_30768661的博客
06-21 446
阅读目录(Content) 一、Flume简介 二、Flume特点 三、Flume的一些核心概念 3.1、Agent结构　　 3.2、source 3.3、Channel 3.4、Sink 四、Flume拦截器、数据流以及可靠性 4.1、Flume拦截器 4.2、Flume数据流 4.3、Flume可靠性 五、Flume使用场景 5.1、多个age...
阿里云: Flume消费Kafka到OSS
zZsSzss的博客
10-30 1208
flume配置 # Name the components on this agent a1.sources = source1 a1.sinks = oss1 a1.channels = c1 # Describe/configure the source a1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource a1.sources.source1.kafka.bootstrap.servers = xxxxxx:9092
数据采集模块——Flume消费Kafka数据写入到HDFS
weixin_44196083的博客
03-27 3583
一、项目背景 1. 实时数据写入到 Kafka topic 中，经 Flume 批量采集到 HDFS 上。此处的实时数据格式为标准 JSON 格式（不包含嵌套 JSON）。 2. 测试环境模拟数据的采集过程。测试集群为 第三方公司 基于当前主流开源组件自主研发并搭建的大数据平台，包含常用组件：HDFS,MapReduce,Yarn,Hive ,HBase ,Phoenix,Zookeeper,...
kafka数据 落盘_Flume消费Kafka数据落盘至HDFS的实践
weixin_39655689的博客
12-22 587
需求背景我司目前的日志采集是由 Structured Streaming 程序消费数据Kafka中的topic数据，经过ETL后写入HIVE表，但是该类日志程序占用约7个G的内存，这对于我们集群的压力来讲是比较大的(10台32g)。组件调研当前市面上的日志采集框架还是不少的- Apache Flume- Fluentd- Logstash- Chukwa- Scribe- Splunk Forwa...
flume实现监控文件，并将文件内容传入kafka的，kafka在控制台实现消费
破碎琉璃为哪般
12-08 1210
等flume监控端口写完在写
Flume-ng原理
u012689336的专栏
10-18 424
Flume是一个日志收集系统。具有分布式、高可靠、高可用性（HA）等特点。对海量日志进行采集、聚合和传输，它可以自己定制各类数据发送方，可以对数据进行简单的处理，并且可以写到各种数据接受方。 Flume 的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。 Flume 传输数据的基本单位是 even
Flume丢不丢数据？
海若_matrix的博客
06-14 792
1.Flume channel 用FileChannel，加上flume自身的事务保证，不丢数据。 2.Flume channel如果用memorychannel有可能丢数据 在数据到达内存时，put事务已完成，这时如果channel中数据如果还没有被take,就会造成数据丢失。 ...
Flume的Channel
weixin_34111819的博客
04-29 145
      　　Channel：是一个存储地，接收source的输出，直到有sink消费掉channel中的数据。Channel中的数据直到进入到下一个channel中或者进入终端才会被删除。当sink写入失败后，可以自动重启，不会造成数据丢失，因此很可靠。...
Kafka中产生数据积压的原因以及解决方案
qq_43727170的博客
08-29 9695
Kafka中产生数据积压的原因以及解决方案。
flume高并发优化——（4）kafka channel
热门推荐
ESOO
04-25 1万+
在上篇博客中，我们还留了一个小疑问，就是我们对最后一个flume的优化是如何做的，关于这一点，我们的思路是这样的，file的瓶颈是io，而我们使用的硬盘是5400转1t硬盘，如果想要优化，我们必须找到性能和memory相当，但是又能较好的保存数据，保证事务性的channel，符合这样要求的一款channel进入了我们的视线，就是kafkachannel，具体怎么做的，请大家看详细介绍：优化之前的架
flume系列之：flume消费kafka数据到HDFS生产参数配置
zhengzaifeidelushang的博客
01-05 1459
flume系列之：flume生产参数配置 # source, channel and sink statement flume_prod.sources = source1 flume_prod.channels = channel1 flume_prod.sinks = sink1 # link source to sink via channel flume_prod.sources.source1.channels = channel1 flume_prod.sinks.sink1.channel
java程序生产数据——flume收集数据——kafka消费数据
weixin_43087634的博客
12-01 860
1.将java程序打成jar包 idea在maven project 处 双击 package，就会在target下产生jar包 ecplice在自己的项目上点击Run as 点击maven build 产生的jar包在target下 启动jar包开始生产数据 java -cp /home/hadoop/data/hadoopProject-1.0-SNAPSHOT.jar  com...
电商数仓项目(八) Flume(3) 生产者和消费者配置
涛博客
03-20 641
目录一、生产数据写到kafka二、消费kafka数据写到hdfs 本节讲解Flume 生产者和消费者配置。 一、生产数据写到kafka 将上节生成的flume-interceptor-1.0.0.jar文件上传到$FLUME_HOME/lib目录下 在$FLUME_HOME/conf目录中创建file-flume-kafka.conf文件， 文件目录：/u01/gmall/data/in/log-data 读取的文件：app开头的文件 内容如下： #定义Agent必需的组件名称，同时指定本配置文件的A
flume消费kafka数据太慢_flume 一款数据流日志传输工具，常见问题原因和解决方法...
weixin_39919165的博客
11-21 3032
flume 是分布式，高可靠 ，高可用，基于流式数据，强健性 ，高容错 ，故障转移与自动恢复，多数据来源接口，上手简单，一个集收集，聚合，移动大规模日志数据的服务。官网下载地址 http://flume.apache.org/download.html今天介绍以flume1.9.0版本为例系统需求： 1、java 1.8 or later 2、足够的内存 3、足够的磁盘空间 4、机器的读写权限下载...
Flume集成Kafka实现高速数据消费解决方案
**kafka-consumer-channel-master**表示Flume的Kafka消费者通道模块的源代码或构建文件，该文件夹包含了实现该通道功能所需的所有代码和配置文件。 ### 实际应用考量 - **系统架构**：在实际应用中，应该根据数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值