【大数据】解决kafka内网连接正常，外网无法连接的问题

外网映射与Kafka联调难题：排查与解决方案
最新推荐文章于 2024-06-19 17:34:41 发布
原创 最新推荐文章于 2024-06-19 17:34:41 发布 · 3.7k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#centos #kafka #hadoop #zookeeper #spark

本文讲述了在项目联调中遇到的Kafka无法通过外网连接问题，解决方法包括检查外网映射和调整Kafka配置，重点在于如何更新配置为`advertised.listeners`，确保公网可达。

1、问题：

做项目联调的时候需要开放kafka，外网映射之后发现，kafka无法通过外网连接

2、解决办法

（1）保证外网映射没有问题，可通过在线端口检测进行测试，地址：http://coolaf.com/tool/port

（2）更改kafka默认配置

原始配置：

listeners=PLAINTEXT://192.168.16.210:6667
zookeeper.connect=localhost:2181

更新后的配置：

listeners=PLAINTEXT://192.168.16.210:6667
advertised.listeners=PLAINTEXT://公网ip:9092
zookeeper.connect=localhost:2181

连接成功：

【微服务】springboot整合kafka-stream使用详解
congge
12-24 1万+
kafka stream使用详解
基于nat协议下通过端口映射实现外网访问内网网站
m0_65463546的博客
07-15 2923
4在ABR路由器(R1)上配置nat和acl(来获取兴趣流量)实现内网可以访问外网，外网可以访问内网的网站。2因为涉及终端数量较少，不适用DHCP自动获取，手动配置终端、路由器、client、服务器地址。3因为本次实验模拟外网访问内网网站，所以在内网ABR服务器写一条指向外网的缺省路由。1R2为ISP设备，只能再该设备上配置ip，不得在进行其它任何配置。1ip地址规划(因为涉及网段较少，ip地址在拓扑图可直接查看)3R1仅拥有一个共有ip地址，在G0\0\1接口上。通过ip地址端口映射访问。...
03 当前机器的虚拟机[NAT网络]映射出 9200 到宿主机, 局域网的其他机器访问 宿主机+9200 访问不到 kafka 的服务
970655147的专栏
08-14 866
上下文是这样的 : 我开发机器上面安装了一个 虚拟机, 这个虚拟机网络基于 NAT 配置的我本地机器 局域网 ip 为 192.168.0.101, 虚拟机的 ip 为 192.168.220.133。
一条指令，解决外网无法访问云服务器Kafka容器问题
最新发布
CatchLight的博客
06-19 2036
在上一篇跟着官方文档使用docker，在云服务器上搭建了一个单节点的Kafka集群，在云服务器上连接成功，当我在笔记本上使用Spark尝试连接的时候，无法消费到数据。从上图可以看出，我在consumer config中明明将设置成了弹性公网IP，而且在笔记本上Telnet连接Kafka网络也是通的。但是当我启动Spark程序之后，程序应该输出从kakfa中消费的数据，但是程序却卡住了。从日志最后一行可以看到，这里居然连接的是localhost，这肯定是消费不到数据的。
Kafka集群无法外网访问问题解决攻略
热门推荐
fengcai19的专栏
01-23 2万+
Kafka集群无法外网访问问题解决方法 讲解本地Consumer和Producer无法使用远程Kafka服务器的处理办法服务搭建好kafka服务后，本机测试ok，外面机器却无法访问，很是怪异。环境说明： kafka服务器： 阿里云VPC网络服务器，内网ip：10.10.10.10，绑定的弹性ip（外网ip）x.x.x.x，是单机测试环境，zk和kafka都在一台机器上，使用默认端口，kakfa
kafka踩坑:kafka内网地址nat后，consumer无法消费问题，及解决方案
仙道Bob的专栏
11-20 7361
一、项目背景 二、问题描述 三、解决方案 四、实施 五、总结
外网访问内网kafka无法链接
qq_42988315的博客
07-12 1159
kafka
Kafka单机搭建、内网可以访问但外网无法访问的问题处理
qq_39198749的博客
03-22 630
1. kafka单机搭建 https://www.cnblogs.com/XMYG/p/15242105.html 2. 在centos7中搭建完成kafka后，windows环境下连接kafka失败，无法发送消息 2022-03-22 21:07:52.195 WARN 41828 --- [ad | producer-1] org.apache.kafka.clients.NetworkClient : [Producer clientId=producer-1] Connection to no
云服务器搭建大数据集群-外网访问WEBUI问题|Kafka-Eagle WEBUI问题
芜湖
05-04 1124
外网访问云服务器Hadoop集群的WebUI 外网访问云服务器Kafka-Eagle的WebUI
大数据最佳实践-kafka
program哲学
04-16 6623
kafka各个重难点大全，超详细
含Kerberos的CDH6.3.2的Kafka集群外网通配符地址访问配置
h952520296的博客
01-10 1424
基于CDH6..3.2在云上搭建了一套大数据的环境，在内网可以正常访问Kafka集群，但是在window开发环境下无法访问（因为无法访问9092端口，cdh 的kafka默认启动在内网ip上 不是通配符 ，无法生产和消费数据），通过尝试最终解决问题，如下记录 修改kafka.properties 在kafka.properties中添加下面两行，node01是Kafka节点IP。 在CDH环境下，kafka.properties是动态生成的，直接修改配置文件没用，需要在CDH的管理界面修改配置，步骤
记一次kafka外网无法访问（结合frp内外网穿透）
bigdata_player
05-10 2430
一.起因 有个需求，需要将阿里云的kafka数据发送到某个内网环境，但是内网环境又没有一个对外的公网IP，怎么办呢？后来采用了frp内网穿透技术，使得阿里云服务器可以访问kafka，但是却发现发送了数据，内网接收不到...... 二.解决方案 1）外网服务器配置 1）hosts配置映射 # 配置映射 # ip为阿里云服务器的内网ip # k...
kafka外部访问失败
weixin_44889538的博客
04-19 1311
kafka外网读写失败 当使用java对kafka进行读写时一直连接超时，定位问题是因为外部ip:9092访问不通,当使用内网时可以访问 #使用映射可以通 telnet kafka 9092 #换成ip不行 telnet ip 9092 查看配置文件也正常 listeners=PLAINTEXT://kafka:9092 # Hostname and port the broker will advertise to producers and consumers. If not set, # it us
kafka 内网外网映射问题
Lbg_007的博客
11-06 906
原因：kafka 返回的是 listeners=PLAINTEXT://192.168.1.10:9092 的地址，外部公司访问不到公司内部的地址。解决方案： listeners 配置一个域名，外部公司的系统的服务器配置该域名到公网的映射规则，另外公网映射的时候，端口也要一致，不然有问题。背景：公司内部 kafka 要与外部单位的系统通过公网联调，公司运维做了映射后网络还是不通。
kafka启动后外网访问不了
qq_43470725的博客
08-20 1467
参考：https://blog.youkuaiyun.com/fx_odyssey/article/details/82689152 1、进入目录：/usr/local/kafka/kafka_2.13-2.8.0 依次执行：./bin/zookeeper-server-start.sh config/zookeeper.properties &，启动zookeeper（&是为了能退出命令行） ./bin/kafka-server-start.sh config/server.properties &a
kafka外网访问不了
丹辰子的博客
01-20 4321
1.kafka在远程服务器用shell脚本执行时候发布，消费完全没有问题。 2.采用java编码，此时使用外网ip连接，报错：Connection to node 0 could not be established. Broker may not be available. 3.将server.properties配置中的listeners = PLAINTEXT://localhost:9...
kafak集群python外网无法访问：kafka.errors.NoBrokersAvailable: NoBrokersAvailable
Zhang Phil
10-22 1852
搭建完zookeeper和kafak后，在同一台机器上跑代码程序都可以连通，但不同机器方位kafka就连接不通，Python访问报错：kafka.errors.NoBrokersAvailable: NoBrokersAvailable。
kafka外网连接不通，内网可连接问题
pioneer的博客
07-26 4804
默认配置为： #listeners=PLAINTEXT://:9092 #advertised.listeners=PLAINTEXT://your.host.name:9092 zookeeper.connect=localhost:2181 本机命令行测试没有任何问题，但是我用java连接服务器发现没有任何反应 经过网上查资料发现外网默认是访问不到的 #listeners=...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值