flume消费文件夹消费不及处理办法

最新推荐文章于 2022-02-15 10:07:10 发布
原创 最新推荐文章于 2022-02-15 10:07:10 发布 · 1.8k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flume #channel

本文介绍当使用Flume处理大量数据时，如何通过调整maxBackoff参数来解决消费不及的问题，确保数据处理流程更加顺畅。

文件生产速度过快，flume会出现消费不及的现象，下面这个参数调节一下应该会有改善：
maxBackoff
这个参数代表当source向channel放数据时检测到channel满了后等待多久再进行重试，默认是4秒。如果已经出现消费不及现象，channel频繁被撑满，然而满了后还要等很久，造成文件越来越多，降低这个参数可以有效缓解消费不及。
官网链接：http://flume.apache.org/FlumeUserGuide.html#spooling-directory-source

flume系列之：flume消费数据量较大kafka Topic的source、channel、sink等参数通用设置
zhengzaifeidelushang的博客
03-18 1673
flume系列之：flume消费数据量较大kafka Topic的source、channel、sink等参数设置一、sources.source1.batchSize二、sources.source1.batchDurationMillis三、channels.channel1.capacity四、channels.channel1.transactionCapacity五、sinks.sink1.hdfs.callTimeout六、sinks.sink1.hdfs.maxOpenFiles七、sinks
flume高并发优化——（4）kafka channel
ESOO
04-25 1万+
在上篇博客中，我们还留了一个小疑问，就是我们对最后一个flume的优化是如何做的，关于这一点，我们的思路是这样的，file的瓶颈是io，而我们使用的硬盘是5400转1t硬盘，如果想要优化，我们必须找到性能和memory相当，但是又能较好的保存数据，保证事务性的channel，符合这样要求的一款channel进入了我们的视线，就是kafkachannel，具体怎么做的，请大家看详细介绍：优化之前的架
Flume监控文件内容拉取到Kafka消费
Mr Huo
11-30 2527
1 zookeeper的安装配置 1.1 ZK配置(安装过程省略) 1.1.1安装完成后进入到zk的安装目录下的conf目录 [hadoop@mini01 ~]$ cd /home/install/zookeeper/conf [hadoop@mini01 conf]$ 1.1.2重命名zoo_sample.cfg 为zoo.cfg [hadoop@mini01 conf]$ mv zoo_s...
使用flume消费kafka数据时，不成功问题解决
qq_39576369的博客
09-19 3324
做电商数仓项目时，遇到了一个奇怪的问题，flume消费kafka时，在hdfs上没有传递过来数据，这样我很头疼，经过测试，我发现在kafka中可以读取到日志采集flume发过来的数据，这就证明在消费flume之前的配置是没有问题的，后来我找到了问题所在。 由于是才有脚本群起的集群，在生成日志时，消费者flume由于没有完全启动的原因，使其在消费数据时不成功，所以应该在群起脚本中设置sleep时间，...
flume file channel 异常解决
wangchaoqi1985的博客
05-29 225
flume file channel 异常解决
flume之Channel
赶路人儿
12-01 2786
Channels 是一个 Agent上存储 events 的仓库，Source 向其中添加 events，而 Sink从中取走移除 events。本文重点介绍memory channel和file channel。 1、memory channel： Source 添加的 events 都暂存在内存队列中，它非常适合那些需要更高吞吐量的数据流，但代价是一旦一个 agent 失败后，其中存储的e
(随手记)flume基础
把伤痕当酒窝
10-17 266
什么是flume Flume is a distributed, reliable, and available system for efficiently collecting, (收集) aggregating, ( 聚合) and moving large amounts of log data ( 大数据) from many different sources (多种数据源)...
阿里云: Flume消费Kafka到OSS
zZsSzss的博客
10-30 1209
flume配置 # Name the components on this agent a1.sources = source1 a1.sinks = oss1 a1.channels = c1 # Describe/configure the source a1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource a1.sources.source1.kafka.bootstrap.servers = xxxxxx:9092
数据采集模块——Flume消费Kafka数据写入到HDFS
weixin_44196083的博客
03-27 3584
一、项目背景 1. 实时数据写入到 Kafka topic 中，经 Flume 批量采集到 HDFS 上。此处的实时数据格式为标准 JSON 格式（不包含嵌套 JSON）。 2. 测试环境模拟数据的采集过程。测试集群为 第三方公司 基于当前主流开源组件自主研发并搭建的大数据平台，包含常用组件：HDFS,MapReduce,Yarn,Hive ,HBase ,Phoenix,Zookeeper,...
kafka数据 落盘_Flume消费Kafka数据落盘至HDFS的实践
weixin_39655689的博客
12-22 587
需求背景我司目前的日志采集是由 Structured Streaming 程序消费数据Kafka中的topic数据，经过ETL后写入HIVE表，但是该类日志程序占用约7个G的内存，这对于我们集群的压力来讲是比较大的(10台32g)。组件调研当前市面上的日志采集框架还是不少的- Apache Flume- Fluentd- Logstash- Chukwa- Scribe- Splunk Forwa...
flume实现监控文件，并将文件内容传入kafka的，kafka在控制台实现消费
破碎琉璃为哪般
12-08 1210
等flume监控端口写完在写
Flume的Channel
weixin_34111819的博客
04-29 145
      　　Channel：是一个存储地，接收source的输出，直到有sink消费掉channel中的数据。Channel中的数据直到进入到下一个channel中或者进入终端才会被删除。当sink写入失败后，可以自动重启，不会造成数据丢失，因此很可靠。...
Flume常用Channel
yunweijie_cn的博客
02-15 1136
Flume常用Channel一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np imp
8 ，ganglia ：flume 数据监控
孙砚秋的博客
07-17 555
一 ，在 node01 上安装 ganglia ： 1 ，flume 监控 ： 目的 ： 看看数据有没有丢失，如果丢，会丢多少。 2 ，安装 httpd ： mount /dev/sr0 /mnt/cdrom/ yum -y install httpd 3 ，安装 php ： yum -y install php 4 ，安装依赖 ： yum -y install rrdtool yum -y in...
java程序生产数据——flume收集数据——kafka消费数据
weixin_43087634的博客
12-01 860
1.将java程序打成jar包 idea在maven project 处 双击 package，就会在target下产生jar包 ecplice在自己的项目上点击Run as 点击maven build 产生的jar包在target下 启动jar包开始生产数据 java -cp /home/hadoop/data/hadoopProject-1.0-SNAPSHOT.jar  com...
电商数仓项目(八) Flume(3) 生产者和消费者配置
涛博客
03-20 641
目录一、生产数据写到kafka二、消费kafka数据写到hdfs 本节讲解Flume 生产者和消费者配置。 一、生产数据写到kafka 将上节生成的flume-interceptor-1.0.0.jar文件上传到$FLUME_HOME/lib目录下 在$FLUME_HOME/conf目录中创建file-flume-kafka.conf文件， 文件目录：/u01/gmall/data/in/log-data 读取的文件：app开头的文件 内容如下： #定义Agent必需的组件名称，同时指定本配置文件的A
大数据——Flume+Kafka+Flume整合模式
Vicky_Tang
07-30 1万+
创建kafka主题 #启动kafka服务 kafka-server-start.sh /opt/software/kafka280cala212/conf/kraft/server.properites #创建主题 #topic主题名test01 #partitions分区数1 #replication-factor备份数量1 kafka-topics.sh --create --topic test01 --partitions 1 --replication-factor 1 ...
flume性能调优总结
热门推荐
RangeYan
01-06 1万+
fllume经常被用在生产环境中收集后端产生的日志。一个flume进程就是一个Agent。要充分发挥flume的性能最主要的是要调好flume的配置参数。 flume agent配置分为三部分：Source, Channel,Sink. Soure用来接收数据源的数据并放到channel里里面。Channel用来缓存Source放入的数据。Sink用来从channel中取出缓存的数据，并写到下个
Kafka相关总结
Faded1573606285的博客
02-07 645
1）Kafka压测 Kafka官方自带压力测试脚本（kafka-consumer-perf-test.sh、kafka-producer-perf-test.sh）。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 2）Kafka的机器数量 Kafka机器数量=2*（峰值生产速度*副本数/100）+1 3）Kafka的日志保存时...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值