Kafka连接服务器出现:Connection to node 1 (localhost/127.0.0.1:9092) could not be established.

Kafka连接报错排查指南:解决Broker不可用问题(localhost:9092) 本文详细解析了Kafka连接报错'Broker may not be available'的排查方法,重点解决localhost:9092连接问题。通过分析listeners配置差异、提供多种解决方案(修改客户端地址/调整Broker配置/使用advertised.listeners),并分享日志检查等进阶技巧,帮助开发者快速定位和修复Kafka连接问题。 阅读详情
AI摘要

本文详细记录了在外网环境中遇到的Kafka连接问题及其解决过程,包括检查安全组设置、防火墙规则、Kafka服务状态、运行日志及正确配置listeners与advertised.listeners的区别。

微信公众号搜“非典型开发者”,添加关注,不再迷路
在这里插入图片描述

今天遇到个很奇怪的问题,是关于外网连接Kafka的。

在服务器本地可以使用命令行参数连接并且进行发布订阅操作,但是在外网环境就不可以了,SpringBoot连接报错:

Connection to node 1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available.

首先一点点来排查错误。

从错误信息可以看到,SpringBoot开启后连接的是127.0.0.1,也就是本地的Kafka broker,但是配置文件中配置的是服务器的IP地址。我本地也并没有安装Kafka和Zookeeper服务。

1.安全组是否开放&防火墙是否拦截请求

一般数据库或Redis连接不可用,都有可能是安全组没有开放或者防火墙拦截了外来连接导致。登陆阿里云服务器管理台后发现,9092端口和2181端口都是开放的,说明阿里云这边并没有关闭了Kafka和Zookeeper的外部连接权限,那么尝试下端口扫描,发现这两个端口依然可以被外部访问:

在这里插入图片描述

2.登陆服务器查看Kafka broker是否可用
xx@xx:~$ sudo lsof -i:9092
COMMAND   PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
java    11049 root  164u  IPv4 1349268      0t0  TCP *:9092 (LISTEN)
java    11049 root  180u  IPv4 1350151      0t0  TCP localhost:33640->localhost:9092 (ESTABLISHED)
java    11049 root  181u  IPv4 1349272      0t0  TCP localhost:9092->localhost:33640 (ESTABLISHED)

通过查询Kafka broker默认端口9092发现,服务运行状态良好,排除掉服务下线的可能性。

3.查看Kafka运行日志
xx@xx~/kafka_2.11-2.3.1/$ sudo tail -f logs/server.log
[2019-12-09 00:49:13,507] INFO [GroupMetadataManager brokerId=1] Finished loading offsets and group metadata from __consumer_offsets-24 in 1 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2019-12-09 00:49:13,507] INFO [GroupMetadataManager brokerId=1] Finished loading offsets and group metadata from __consumer_offsets-27 in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2019-12-09 00:49:13,507] INFO [GroupMetadataManager brokerId=1] Finished loading offsets and group metadata from __consumer_offsets-30 in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2019-12-09 00:49:13,508] INFO [GroupMetadataManager brokerId=1] Finished loading offsets and group metadata from __consumer_offsets-33 in 1 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2019-12-09 00:49:13,508] INFO [GroupMetadataManager brokerId=1] Finished loading offsets and group metadata from __consumer_offsets-36 in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2019-12-09 00:49:13,508] INFO [GroupMetadataManager brokerId=1] Finished loading offsets and group metadata from __consumer_offsets-39 in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2019-12-09 00:49:13,509] INFO [GroupMetadataManager brokerId=1] Finished loading offsets and group metadata from __consumer_offsets-42 in 1 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2019-12-09 00:49:13,509] INFO [GroupMetadataManager brokerId=1] Finished loading offsets and group metadata from __consumer_offsets-45 in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2019-12-09 00:49:13,509] INFO [GroupMetadataManager brokerId=1] Finished loading offsets and group metadata from __consumer_offsets-48 in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2019-12-09 00:49:13,509] INFO [GroupMetadataManager brokerId=1] Finished loading offsets and group metadata from __consumer_offsets-3 in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)

运行状态良好,没有出现WARN和ERROR信息,从日志看不出问题。

4.在网上找资料

既然自己菜,没能力找到问题所在,那么问问google,总有一些解决问题的方式,虽然并不一定能直接解决问题,但是在查找问题的过程中还是能学到很多,例如这篇博客也提到了Kafka外网连接问题,但按照这个方式修改后并不能解决我的问题:

kafka连接问题

这里面提到了一个很重要的概念:

kafka启动后会在zookeeper的/brokers/ids下注册监听协议,包括IP和端口号,客户端连接的时候,会取得这个IP和端口号。
后来查看了kafka的配置,原来我忽视了listeners和advertised.listeners的区别,advertised.listeners才是真正暴露给外部使用的连接地址,会写入到zookeeper节点中的。于是再次进行修改,把IP配置到advertised.listeners中,问题再一次解决。

advertised.listeners才是真正的对外代理地址!
那么listeners的作用就不是对外提供服务代理,而是监听!

5.解决问题

修改server.properties的两行默认配置,即可通过外网连接服务器Kafka,问题解决:

# 允许外部端口连接                                            
listeners=PLAINTEXT://0.0.0.0:9092  
# 外部代理地址                                                
advertised.listeners=PLAINTEXT://121.201.64.12:9092
kafka报错: (localhost/127.0.0.1:9092) could not be established. Broker may not be available. 具体报错:[Producer clientId=console-producer] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)从上述结果来看,是报错和配置里面的地址有关系,只需要改用配置里的hostname启动就好了。之后输入数据回车报错。 阅读详情

相关推荐

Kafka服务状态检查:进程、端口与功能验证的三种方法

在分布式系统运维中,服务健康检查是保障系统稳定性的基础环节。其核心原理在于从不同系统层面进行探测,通常包括进程层、网络层和应用层。进程层验证服务是否在运行,网络层确认服务是否准备好接收连接,应用层则通过模拟客户端行为测试核心功能是否正常。这种分层验证的技术价值在于能够构建立体的、可靠的健康状态检查体系,避免单一检查手段的盲点,是快速定位和排查服务异常的关键。在消息队列、微服务架构等应用场景中,对Kafka这类核心中间件的状态确认尤为重要。本文聚焦于Kafka,详细介绍了使用`jps`命令检查Java进程、利

weixin_30765505的博客 426

报错:Connection to node -1 (localhost/127.0.0.1:9092) could not be established.

kafka启动后会在zookeeper的/brokers/ids下注册监听协议,包括IP和端口号,客户端连接的时候,会取得这个IP和端口号。原理是因为listeners和advertised.listeners的区别,advertised.listeners才是真正暴露给外部使用的连接地址,会写入到zookeeper节点中的。

你今天真好看呀 1万+

Debian 10 手动安装 Kafka 2.8.1 完整实践指南

Apache Kafka 是一种高吞吐、分布式、持久化的消息队列系统,其核心原理基于发布-订阅模型与分区日志(Partitioned Log)机制,通过 ZooKeeper(或 KRaft)协调元数据,实现水平扩展与容错。在 Linux 服务器环境中,Kafka 的稳定运行高度依赖底层 Java 环境、用户权限隔离、systemd 服务管理及网络配置等工程细节。尤其在 Debian 10 这类长期支持(LTS)发行版中,因官方源缺失 Kafka 包、默认 JDK 版本过低、systemd 行为严格等特点,‘

chuanzhuanxian8669的博客 420

kafka连接报错Connection to node 1 (localhost/127.0.0.1:9092) could not be established.

配置advertised.listeners为外网访问地址和端口。server.properties中。

李振伟的博客 3041

Flink Kafka 实战:数据源读取 + 结果写入,含完整代码

本文详细介绍了Kafka环境搭建及Flink集成Kafka的完整流程。首先通过Docker部署Kafka和Zookeeper,包括网络配置、容器启动及验证步骤。然后演示了Kafka主题创建、消息生产和消费的基本操作。接着重点讲解了Flink与Kafka的集成方案:包括Maven依赖配置、Java程序消费Kafka数据的方法,以及Flink作为Source和Sink的完整实现代码。最后提供了验证流程说明,通过Node-RED工具生成测试消息,并由Flink程序处理后回写到Kafka主题。整个过程涵盖了从环境搭

tian_jiangnan的博客 411

maxwell连接kafka报错Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker ma

报错内容 Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient) 报错原因

yy的博客 4693

Kafka连接服务器/查看topic详情等情况出现:Connection to node -1 (localhost/127.0.0.1:9092) could not be established.

在学习Kafka数据去重时,一直报错!报错如下图所示: package com.atguigu.kafka.producer; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache..

PhoenixLuo·的博客 1523

麒麟v10(ky10.x86_64)升级——openssl-3.2.2、openssh-9.8p1

执行命令: make -j 4 && make install 这里要等待一段时间,等待编译完成。执行命令: ./configure --prefix=/usr/local/src/zlilb。执行命令: ./config --prefix=/usr/local/src/openssl。执行命令: make -j 4 && make test && make install。执行命令: make -j 4 && make install。执行命令: /etc/init.d/sshd restart。

X_yufei的博客 7430

【牛客社区项目】 springboot整合kafka问题 Connection to node -1 (localhost/127.0.0.1:9092) could not be establis

Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available.

兔兔子的编程日记 2163

解决[WARN] : Controller Spawner couldn‘t find the expected controller_manager ROS interface.思路

rrbot例程ros_control配置问题的解决思路 本人刚入门ROS机器人开发,在学习rrbot例程出现了control_manager无法启动的bug。 在启动rrbot_control.launch的时候,出现下列warning: [WARN] [1594362016.372059]: Controller Spawner couldn't find the expected controller_manager ROS interface. 之后再按教程的步骤 rosservice call /

qq_40299650的博客 1万+

Claude Code 学习笔记之一:理解 Agentic Loop 与内置工具

本文介绍了Claude Code这一终端智能助手的工作原理与使用方式。作者从ABAP开发经验出发,指出学习Claude Code的高级用法具有长期价值。文章详细解析了Claude Code的Agentic Loop机制:通过大语言模型进行推理,借助各类工具执行任务,并循环收集上下文、执行操作、验证结果三个步骤。系统阐述了Claude Code支持的五大类工具及其扩展方式,说明了其访问本地资源的范围和自治处理能力,同时介绍了权限模式等安全机制。最后提供了从小任务开始、充分探索、及时引导、使用CLAUDE.md

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 547

SpringBoot kafka Connection to node -1(localhost 127.0.0.1:9092) could not be established. Broker ma

@[TOC](SpringBoot kafka Connection to node -1(localhost 127.0.0.1:9092) could not be established. Broker may not be available) 前言 SpringBoot整合kafka,启动时无法连接kafka服务器。Warn信息: Connection to node -1(localhost 127.0.0.1:9092) could not be established. Broker may

weixin_43118901的博客 1494

车辆网络安全ISO/SAE 21434解读(一)概述

ISO/SAE 21434 《道路车辆 网络安全工程》是SAE和ISO共同制定的一项针对道路车辆的网络安全标准,它是一个面向汽车行业全供应链(OEM及各级供应商)的车辆网络安全管理指导文件

xiaoxiabang的博客 8428

kafka连接日志警告Connection to node 0 (localhost/127.0.0.1:9092) could not be established.

kafka启动后命令行测试进行发布订阅操作正常使用,且端口网络也是通的,服务启动后却不停的打出警告日志。

Cooper的博客 2214

使用AutoDL云服务器训练YOLO计算机视觉网络模型(AutoDL+Xftp+VS Code),附详细操作步骤

AutoDL AI算力云是一个提供人工智能算力服务的云平台。丰富的GPU资源:提供多种GPU型号,包括NVIDIA的A100A800L40V100RTX 4090RTX 3090等,能满足我们在不同场景下的需求,无论是进行大规模的AI训练还是复杂的科学计算等任务,都可以找到合适的GPU资源。灵活的付费方式:支持按量付费包日包周包月等多种付费模式。对于短期的实验或不确定时长的项目,可以选择按量付费;如果有长期稳定的算力需求,预付费或包周包月则可能更划算,可以根据自己的需求和预算进行选择。集成主流框架:集成了。

Limiiiing的博客 960

量化交易零基础入门教程

特点 从零开始教编程。靠谱的量化交易学习资源稀少,且具有不讲编程、代码较难、过多等不适合新手等问题,本教程中则会从零开始教编程,解决量化入门过难过编程门槛这一问题。 量化与编程相结合。本教程不仅会教编程,而且会尽量结合量化情景,减少“我要做量化交易为什么要看这些用来培训程序员的东西”的愤懑。 简易精炼,快速入门。尽量只讲最核心最常用的知识,助你快速摆脱想学习量化却处处陌生不知所措的茫然的新手阶段。 读前说明 文后会有自测与自学,包括一些额外的延伸自学内容以及稍有难度的自测题目。 最最最基础的股票.

JanLEE 2888

Windows原生运行Kafka:KRaft模式零依赖本地开发指南

Apache Kafka作为主流分布式消息系统,其核心能力依赖于可靠的元数据管理与低延迟消息传输。传统依赖ZooKeeper的部署方式在Windows环境下易因路径解析、权限控制和网络栈差异引发启动失败、连接超时等问题。KRaft(Kafka Raft Metadata mode)通过内置Raft协议实现元数据自治,彻底消除外部依赖,显著提升Windows平台兼容性。该模式不仅简化了单机开发流程,还强化了配置可控性与调试直观性,特别适配本地联调、PoC验证及教学实验等轻量级场景。本文聚焦KRaft驱动下的W

weixin_34274029的博客 1456

YOLO格式数据集划分

YOLO格式的数据集划分 标题标签格式txt import os import cv2 import random from PIL import Image # os.makedirs('labels_train') # os.makedirs('labels_val') img_train_path ='./img_train/' #图片训练集保存路径 img_val_path = './img_val/' #图片验证集保存路径 labels_train_path = './labels_t

weixin_51154380的博客 3308

Ubuntu 18.04 Kafka 部署可靠性加固指南

Apache Kafka 是一个分布式流处理平台,其运行高度依赖 Java 运行时、操作系统内核参数、网络栈行为与协调服务(如 ZooKeeper)。在已进入 EOL 的 Ubuntu 18.04 上,由于默认 OpenJDK 8 兼容性缺陷、systemd 环境变量加载机制特殊、DNS 解析逻辑脆弱、/tmp 挂载限制及 ext4 文件系统行为差异,Kafka 常出现启动卡死、连接拒绝或消息不可达等‘静默失败’。技术价值在于通过版本锁定(OpenJDK 11 + ZooKeeper 3.4.13)、adv

weixin_34033624的博客 378

基于DNN神经网络的多输入多输出数据回归预测(附带Matlab代码)

假设我们的输入数据包含n个特征,输出数据包含m个特征。在本文中,我们将介绍如何使用DNN(深度神经网络)实现多输入多输出数据回归预测,并提供相应的Matlab代码。需要注意的是,上述代码中的DNN模型是一个简化的示例,您可以根据实际任务的复杂程度和要求进行相应的调整和优化。综上所述,我们介绍了如何使用DNN神经网络实现多输入多输出数据回归预测,并提供了相应的Matlab代码。函数对DNN模型进行训练,其中输入数据需要转置,以适应网络的输入要求。最后,我们使用训练好的模型对测试数据进行预测,并打印预测结果。

DevWizard的博客 1069

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

本地Kafka命令行创建topic时报错Connection to node -1 (localhost/127.0.0.1:9092) could not be established

使用./zkServer start启动,发现是找不到zoo.cfg,我的这个配置文件是在/opt/homebrew/etc/zookeeper,将文件复制到/opt/homebrew/Cellar/zookeeper/3.9.3/libexec/etc/zookeeper,重新启动就好了。之前一直是直接使用项目上的Kafka,这次打算正式学习一下,所以在本地安装了Kafka,按照教程创建topic时出问题。3)使用lsof -i:9092查看也有内容了。4)新建一个终端,启动生产者。

zcyf0809的博客 1816

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

解决: WARN [Producer clientId=console-producer] Connection to node -1 (localhost/127.0.0.1:9092) could

问题: WARN [Producer clientId=console-producer] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient) 解决 必须与在配置文件里面的listeners保存一致,尽管你在里面设置的是当前虚拟机的ip, 我就是使用了自己虚拟机的ip,如

учёба 9793

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Connection to node -1 (/127.0.0.1:9092) could not be established. Broker may not be available.

Broker may not be available

Trainer2107的博客 1804
上一篇: JVM学习(5)-类加载过程与双亲委派机制
下一篇: JVM学习(6)-JVM工具以及GC调优策略
BoringRong
BoringRong 领域专家: 后端开发技术领域 领域专家: 后端开发技术领域
博客等级 码龄9年 2万+粉丝 386原创
评论 50
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BoringRong

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值