Kafka 异步发送被阻塞

最新推荐文章于 2025-05-18 17:18:08 发布

会当凌绝顶，一览众山下

最新推荐文章于 2025-05-18 17:18:08 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： mine 文章标签： kafka

本文链接：https://blog.youkuaiyun.com/wobenqinren/article/details/120182573

mine 专栏收录该内容

3 篇文章

订阅专栏

本文探讨了Kafka异步发送中的问题，如服务器故障和内存溢出导致的阻塞。通过回调处理异常、利用Redis设置发送标志以及数据库备份策略，确保数据不丢失。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.Kafka异步发送时，当kafka服务器关掉(已验证，会发生)，或发送的buffer.memory堆满（未验证）时，异步发送被阻塞，报异常。

[2021-09-08 16:10:33,087] - org.apache.kafka.common.errors.TimeoutException: Topic sms.moreport.topic3333 not present in metadata after 5000 ms.

2.尝试解决方案

（1）在Callback的回调方法中，处理异常，保存数据到db(本地数据库rocksdb,或远程数据库mysql),避免丢数据。

new Callback() {
                    @Override
                    public void onCompletion(RecordMetadata recordMetadata, Exception e) {
                        if(e != null) {
                            Helpers.getInstance.toLocalDb(data);
                            logger.error("transfer error,data = "+ data +",ex = "+ e);
                        }
                    }
                }

（2）用redis的setex方法，设置kafka可发送的一个标识,15s超时删除（如果远程redis也崩了，就只有本地数据库最可靠了，不过线上运行的redis一般集群部署，出现redis宕机几率不高），

（3）新的数据需要添加到kafka时都先检查kafka可发标识，如果存在就不发送，直接持久化到db.