Kafka producer无法发送消息解决办法

最新推荐文章于 2024-07-17 22:15:28 发布
原创 最新推荐文章于 2024-07-17 22:15:28 发布 · 1.6w 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#虚拟机 #kafka-java

本文介绍了解决Kafka集群中从外部使用API发送消息失败的问题。通过调整advertised.listeners配置项，将其设置为集群内部IP地址，使得外部能够成功与Kafka集群进行消息交互。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在虚拟机搭建了kafka集群，在集群内使用Shell可以成功发送消息创建Topic。
但是在外部使用API无法发送消息，但是能创建topic
具体原因

Hostname and port the broker will advertise to producers and consumers. If not set, it uses the value for “listeners” if configured. Otherwise, it will use the value returned from java.net.InetAddress.getCanonicalHostName().

所以将

#advertised.listeners=PLAINTEXT://your.host.name:9092

修改为

advertised.listeners=PLAINTEXT://192.168.84.136:9092
图解Kafka Producer中的消息缓存模型
石臻臻的杂货铺(szzdzhp001)
03-17 1万+
图解Kafka Producer中的消息缓存模型
java 向kafka发送消息 创建kafka Producer  以便批量发送消息
weixin_43928714的博客
05-12 5642
java创建kafka Producer 以便批量发送消息 /** * 创建Producer * @return */ @Override public Producer<String, String> createProducer() { //获取kafka配置信息，根据自己所需，也可写死 String kafkaConfigStr = dmpSysConfigService.getkafkaConfi.
Kafka producer程序本地运行时发送信息失败解决方案
yxinzju的专栏
12-11 1万+
kafka.common.FailedToSendMessageException: Failed to send messages解决办法
Kafka消息发送失败解决方案
huyl08的博客
06-27 6038
kafka是吞吐量比较大的消息队列，但是在使用过程中，容易遇到各种各样的坑，现列举如下，帮助大家避免踩雷。 笔者在探索过程中，遇到过kafka-python发送成功，但是消费者端仍然收不到数据的问题，日志一切正常，血泪历史如下。 不定期更新中。
Kafka消息发送失败的常见原因及解决方案
qq_44912620的博客
11-03 5091
异步确认：生产者在发送消息后不等待Kafka服务器的确认响应，而是立刻发送下一条消息。Kafka生产者可以设置重试次数和重试间隔时间，当消息发送失败时，Kafka生产者将自动进行重试。- 同步确认：生产者在发送消息后，等待Kafka服务器的确认响应，直到收到确认响应之后才继续发送下一条消息。这种方式可以保证消息的可靠性，但会影响消息发送的效率。如果Kafka生产者将消息发送到一个不可用的分区副本，那么消息发送就会失败。Kafka默认有消息大小的限制，如果消息大小超过了限制，那么消息发送就会失败。
Kafka测试问题Producer数据send不到kafka中 --Version 2.3.0
weixin_43598715的博客
09-02 2291
Kafka测试问题之Producer数据send不到kafka中 原先Kafka中的/config/server.properties 中配置listeners=PLAINTEXT://:9092 没有对其进行修改 测试Kafka是否能够连接通畅，操作如下： 创建 topic： bash kafka-topics.sh --create --bootstrap-server localhost:...
kafka什么情况下会认为发送失败进而去重试
qq_36042938的博客
03-18 1386
在Kafka中，发送消息的过程是异步的，即消息后不会立即得到发送结果。Kafka会将消息添加到发送缓冲区，并立即返回一个成功的响应。因此，Kafka并不会直接知道消息是否成功发送到了目标主题的分区。需要注意的是，Kafka的重试机制是有限制的。在重试过程中，如果达到了最大重试次数或者超过了最大重试时间，Kafka会放弃重试，并将消息标记为发送失败。
Kafka Producer发送消息流程之消息异步发送和同步发送
最新发布
m0_51390969的博客
07-17 1656
按照流程图，上一条消息需要从生产者一直流转，多个步骤，到数据收集器，到Sender，最后还要等待回调确认，才可以开始下一条消息的流转。Kafka默认就是异步发送，在Main线程中的多条消息，没有严格的先后顺序，Sender发送后就继续下一条，异步接受结果。Main线程中，对于多条数据，下一条消息的发送并不等待上一条消息的确认，而是继续发送。消息有严格的先后顺序，下一条消息必须等到上一条消息的回调确认后，再发送，这是一个。可以看到先是main线程循环发送完了多条数据，然后再异步收到通知。
Kafka Producer机制优化-提高发送消息可靠性
08-27
通过对Kafka Producer发送机制进行优化，特别是在面对Broker故障时的消息发送策略调整，可以显著提高系统的稳定性和消息发送的可靠性。通过上述改进方案，即使部分Broker出现故障，也能保证消息能够及时、准确地发送...
Kafka Producer发送消息流程之分区器和数据收集器
m0_51390969的博客
07-16 664
新建类实现接口，key是字符串数字，奇数送到分区0，偶数送到分区1。@Override@Override> map) {新建一个存在多分区的Topic。//创建producer//指定拦截器//指定分区器i < 10;i++) {//创建record"test1","key"+i,"我是你爹"+i//发送record//关闭producer。
kafka消息阻塞
热门推荐
lusic01的专栏
01-07 1万+
1,processor组件 2,Proactor模式   hi all：         大家都很关心kafka消息阻塞的情况（感谢RoctetMQ给我们的教训）。Kafka上线也有一段时间了，确实有出现过消息阻塞的情况，虽然不影响业务而且用临时办法解决了，但是我觉得可以跟大家总结一下。为了不引起大家的恐慌，我决定先把结论写出来：comsumer 非正常的rebalancing（重新分配分...
kafka发送消息服务器宕机,Kafka之消息传输
weixin_28678517的博客
08-06 903
问题研究：研究Kafka consumer和broker之间的数据传输方式？Kafka是如何保证可靠性？消费机制是consumer pull还是broker push？, 如果是push的话，kafka是否知道数据传输成功0.写在前面昨天整理完Kafka之数据存储之后，今天决定再把笔记中kafka消息传输部分整理一下，逐步去完善kafka系列的博文。本文中讲述的kafka是0.8.1版，目前最新版...
kafka： java生产者往kafka topic发送数据发送失败
cd19930508的博客
09-08 9747
在使用java写的kafka生产者，把数据发送给kafka的topic时，需要发送三次无法成功的Error.2016-09-08 10:32:49,695- [INFO] Fetching metadata from broker BrokerEndPoint(0,172.17.17.98,9092) with correlation id 0 for 1 topic(s) Set(test0902
kafka发送消息无响应
qq_43259860的博客
02-09 1092
问题描述 使用kafka时发送消息直接卡死无响应，一段时间后显示超时错误，进过如下解决方案： vim server。properties #取消注释，ip地址为提供kafka服务的ip listeners=PLAINTEXT://172.18.0.130:9092
Kafka 异步发送被阻塞
wobenqinren的博客
09-08 1625
1.Kafka异步发送时，当kafka服务器关掉(已验证，会发生)，或发送的buffer.memory堆满（未验证）时，异步发送被阻塞，报异常。 [2021-09-08 16:10:33,087] - org.apache.kafka.common.errors.TimeoutException: Topic sms.moreport.topic3333 not present in metadata after 5000 ms. 2.尝试解决方案 （1）在Callback的回调方法中，处理异常，保
KafkaTemplate发送消息异常due to 30036 ms has passed since batch creation plus linger time
znsqingfeng的专栏
08-07 8023
org.springframework.kafka.core.KafkaProducerException: Failed to send; nested exception is org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for logs_vipfengxiao_c-teach-room_c-tea...
Kafka 异步消息也会阻塞？记一次 Dubbo 频繁超时排查过程
Java极客技术
09-30 683
线上某服务 A 调用服务 B 接口完成一次交易，一次晚上的生产变更之后，系统监控发现服务 B 接口频繁超时，后续甚至返回线程池耗尽错误 Thread pool is EX...
kafka java 创建topic,kafka 可以创建topic，但是producer程序无法写入数据
weixin_34246474的博客
03-16 1030
我在本地写了一个producer客户端程序public class SimpleProducer {public static void main(String[] args) {Properties props = new Properties();props.put("bootstrap.servers", "localhost:9093"); //一旦改成远端主机就push消息失败了prop...
Kafka测试问题Producer数据send不到kafka中 --Version 1.1.1
mzjnumber1的专栏
04-25 275
没有配置 hosts： 111.50.16.102 sdp-0aahae4k-core3 101.75.75.103 sdp-0aahae4k-core2 101.75.64.138 sdp-0aahae4k-core1
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值