kafka queue full解决办法

最新推荐文章于 2025-02-25 14:21:51 发布
最新推荐文章于 2025-02-25 14:21:51 发布
阅读量1w 收藏 2
点赞数
分类专栏： 推荐系统 开源项目
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/map_lixiupeng/article/details/43206145
版权

(kafka.producer.async.AsyncProducer:109) - Event queue is full of unsent messages, could not send event: 


queue.enqueueTimeout.ms, if set to -1 will lead to blocking behaviour
instead of the producer throwing
QueueFullExceptions.
简单来说，两种解决方法
 1、选择忍受，消息丢弃，容忍这种异常；
2、选择阻塞，即设置queue.enqueueTimeout.ms为-1。
 


                

        

    

  



    



                



	

		

			

				
					
kafka系列之：深入理解kafka生产者

				
			

			

				

					zhengzaifeidelushang的博客
				

				

					04-15
					
					1159
					
				

			

		

		

			
				
kafka系列之：生产者一、构建的消息对象ProduceRecord二、必要的参数配置三、消息的发送四、序列化
一、构建的消息对象ProduceRecord
熟悉下ProduceRecord源码
public class ProducerRecord<K, V> {
    private final String topic;  //主题
    private final Integer partition;  //分区号
    private final Headers headers;

			
		

	



                

            
              



	

		

			

				
					
Kafka消息队列面临的优化问题

				
			

			

				

					江晓龙的博客
				

				

					06-27
					
					1万+
					
				

			

		

		

			
				
在防止消息丢失的方案中，如果生产者发送完消息后，因为网络的波动，没有收到Kafka返回的ACK确认收到信息，但是实际上Broker已经收到了该消息，此时生产者就会重新发送消息数据，进行重试，于是Broker就会收到多条相同的消息数据，从而造成消费者的重复消费。所谓顺序消费指的是：消息一条条被消费，例如一个业务场景，有三条消息，第一条消息消费后是下订单，第二条消息消费后是付款，第三条消息消费后是发货，一定要保证消息是顺序性被消费，否则就会出现数据错误。kafka的顺序消费使用场景不多，牺牲性能。

			
		

	



              


  
              

                


	

		

			

				
					
c语言使用librdkafka库实现kafka的生产和消费实例

				
			

			

				

					小麒麟的成长之路
				

				

					08-02
					
					3万+
					
				

			

		

		

			
				
关于librdkafka库的介绍，可以参考kafka的c/c++高性能客户端librdkafka简介，本文使用librdkafka库来进行kafka的简单的生产、消费


一、producer
librdkafka进行kafka生产操作的大致步骤如下：
1、创建kafka配置
rd_kafka_conf_t *rd_kafka_conf_new (void)


2、配置kafk

			
		

	





	

		

			

				
					
使用librdkafka 报错：“Local: Queue full” 解决

				
			

			

				

					夏洛的克
				

				

					01-05
					
					6592
					
				

			

		

		

			
				
使用librdkafka 报错：“Local: Queue full”  问题解决
分析：该问题发生主要原因是由于生产者的生产能力大于了kafka server的接收落盘能力，导致生产者本地队列写满，默认情况下，如果生产者本地缓冲队列写满会抛出“Local: Queue full”异常。
如何解决这个异常呢？
上面将了，根因是生产者的活干的有点快。所以需要让本地队列里面的数据消化一会儿poll()。
直接上代码吧：
  retry:
    RdKafka::ErrorCode err = producer

			
		

	



		

			
		



	

		

			

				
					
kafka队列堆积的常见解决

					
最新发布

				
			

			

				

					qq_63890458的博客
				

				

					02-25
					
					590
					
				

			

		

		

			
				
kafka队列堆积解决

			
		

	





	

		

			

				
					
Kafka中QueueFullException异常

				
			

			

				

					杨春建的博客
				

				

					09-23
					
					4934
					
				

			

		

		

			
				
原文地址：https://cwiki.apache.org/confluence/display/KAFKA/FAQ#FAQ-HowshouldIsetmetadata.broker.list?


Why do I get QueueFullException in my producer when running in async mode?


This typically ha

			
		

	





	

		

			

				
					
python使用confluent_kafka库发送数据出现：“Local: Queue full” 解决

				
			

			

				

					wenhaozi1999的博客
				

				

					08-30
					
					547
					
				

			

		

		

			
				
另一个原因是confluent-kafka-go 这个包使用了队列的概念，累计到110万时，超出了队列的缓存区，所以不能再继续写入。可以定期以及在线程结束时对缓存区刷新解决。一个原因是生产能力大于了kafka server的接收，这种只能优化代码逻辑了。看了一些文章和问题，总结了一下。定期刷新队列的线程函数。

			
		

	





	

		

			

				
					
Kafka生产者中的QueueFullException：何时发生及如何处理

				
			

			

				

					My_wife_QBL的博客
				

				

					07-19
					
					1283
					
				

			

		

		

			
				
是 Kafka 生产者在内部缓冲队列（Buffer Queue）已满时抛出的异常。当生产者试图将消息添加到缓冲队列，但队列已达到其最大容量时，就会发生这个异常。这通常是由于生产者发送消息的速度超过了 Kafka Broker 处理消息的速度，导致缓冲队列堆积。是 Kafka 生产者在内部缓冲区已满时抛出的异常，通常由生产者发送速率过快、Broker 处理能力不足或网络延迟等因素引起。通过调整缓冲区大小、控制发送速率、优化 Broker 端性能和网络环境，可以有效缓解或避免该异常的发生。

			
		

	





	

		

			

				
					
刨根问底: Kafka 到底会不会丢数据？

				
			

			

				

					m0_67698950的博客
				

				

					07-19
					
					810
					
				

			

		

		

			
				
越来越多的互联网公司使用消息队列来支撑自己的核心业务。由于是核心业务，一般都会要求消息传递过程中最大限度的做到不丢失，如果中间环节出现数据丢失，就会引来用户的投诉，年底绩效就要背锅了。那么使用Kafka到底会不会丢数据呢？如果丢数据了该怎么解决呢？为了避免类似情况发生，除了要做好补偿措施，我们更应该在系统设计的时候充分考虑系统中的各种异常情况，从而设计出一个稳定可靠的消息系统。这里，我们一起来总结一下这篇文章的重点。1、从Kafka整体架构上概述了可能发生数据丢失的环节。2、带你剖析了「」...

			
		

	





	

		

			

				
					
Kafka参数优化进行全面总结

				
			

			

				

					zp17834994071的博客
				

				

					08-19
					
					3138
					
				

			

		

		

			
				
前面已经核大家说过Kafka高吞吐的神秘面纱，Kafka的设计初衷是尽一切努力在内存中完成数据交换，无论是对外作为一整个消息系统，或是内部同底层操作系统的交互。如果Producer和Consumer之间生产和消费进度上配合得当，完全可以实现数据交换零I/O。
那么Kafka的优化就可以从这两方面入手了。首先从Producer端开始要保证消息有序。
Kafka保证在同一主题同一分区内有序生产者将消息按Key分组如（Table+PK），一个分组写入一个分区。所以如何去合理partition是非常有必要的。
Pa

			
		

	





	

		

			

				
					
rdkafka(kafka C lib) 数据写入流程

				
			

			

				

					石权的博客
				

				

					07-26
					
					7476
					
				

			

		

		

			
				
将rdkafka数据写入过程分为两个部分：
1. 用户程序调用相关接口，produce数据；
2. rdkafka内部线程异步发送数据；

			
		

	





	

		

			

				
					
librdkafka producer封装的一点总结

				
			

			

				

					1943kevin的博客
				

				

					03-17
					
					1343
					
				

			

		

		

			
				
librdkafka的producer有一个内部的队列，我们可以设置队列的最大长度（或者内存），队列满了之后，调用produce接口会返回RdKafka::ERR__QUEUE_FULL，此时可以把数据重新添加到我们自己的缓存队列
比如将队列长度设置为10000，
if (conf->set("queue.buffering.max.messages", "10000", errstr) !...

			
		

	





	

		

			

				
					
kafka的生产者的生产流程

				
			

			

				

					健康平安的活着的专栏
				

				

					03-03
					
					849
					
				

			

		

		

			
				
2.1 kafka的生产方式

Producer采用推（push）模式将消息发送到broker，每条消息都被追加（append）到分区（partition）中，属于顺序写磁盘（顺序写磁盘效率比随机写要高，保障kafka吞吐率，在读取使用的时候读取速度也会更快）。

kafka集群有多个消息代理服务器（broker-server）组成，发布到Kafka集群的每条消息都有一个类别，用主题（topic...

			
		

	





	

		

			

				
					
消息队列Kafka——常见问题总结

				
			

			

				

					luhong327的博客
				

				

					03-01
					
					1549
					
				

			

		

		

			
				
一、消息队列优缺点：

优点：解耦、异步、削峰

缺点：

系统可用性降低
	系统复杂性提高
	一致性问题
二、常见问题：

1、消息重复问题

消息端重复发送情况：

生产者（消息发送端）发送消息成功进入消息中间件，由于各种原因发送端没有收到消息中间件返回的“成功”结果，而且发送端还存在重试机制；

消息中间件重复：

消息被消费端成功消费后，消息中间件没有收到消息的处理结果；

重复消费解决方...

			
		

	





	

		

			

				
					
librdkafka介绍文档

				
			

			

				

					咸鱼一号的博客
				

				

					08-04
					
					4277
					
				

			

		

		

			
				
ntroduction to librdkafka - the Apache Kafka C/C++ client library

librdkafka 是一个C实现的高性能 Apache Kafka 客户端，为生产环境提供了一个可靠和高性能的客户端。
librdkafka 同样也提供了传统的 C++ 接口。

目录

以下目录适用于本文

性能
	性能数据
		高吞吐
		低延时
		压缩
	
	消息可靠性
	用法
	文档
		初始化
		配置
		线程和回调
		Brokers
		Producer 

			
		

	





	

		

			

				
					
librdkafka配置参数详解

				
			

			

				

					大隐隐于野
				

				

					02-26
					
					3738
					
				

			

		

		

			
				
全局配置参数

Property
			C/P
			Range
			Default
			Description
		builtin.features
			*
			
			gzip, snappy, ssl, sasl, regex, lz4, sasl_gssapi, sasl_plain, sasl_scram, plugins
			标示该librdkafka的支持的内建特性。应用...

			
		

	





	

		

			

				
					
java.lang.IllegalStateException异常以及解决

					
热门推荐

				
			

			

				

					qq_43633916的博客
				

				

					07-20
					
					21万+
					
				

			

		

		

			
				
今天运行项目时出现的这个问题，java.lang.IllegalStateExceptio，第一次见到这个异常，
查询后
错误原因：该异常表示，当前对客户端的响应已经结束，不能在响应已经结束（或说消亡）后再向 客户端（实际上是缓冲区）输出任何内容。
具体分析：首先解释下flush()，我们知道在使用读写流的时候数据先被读入内存这个缓冲区中， 然后再写入文件，但是当数据读完时不代表数据已经写入文件完...

			
		

	





	

		

			

				
					
Kafka常见错误及解决办法

				
			

			

				

					yiweiyi329的博客
				

				

					09-24
					
					4万+
					
				

			

		

		

			
				
1、报错信息：

org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {qukan_log_v3-198=2289560518}

报错原因：当消费者消费offset大于或小于当前kafka集...

			
		

	





	

		

			

				
					
python搭建kafka

				
			

			

				

					01-17
				

			

		

		

			
				
 print(f'Local producer queue is full ({len(producer)} messages awaiting delivery): try again\n{e}')  # Wait for any outstanding messages to be delivered and delivery report callbacks to fire. ...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值