记一次内网kafka映射到外网端口遇到小问题

最新推荐文章于 2025-05-20 11:54:00 发布

chen_ke_hao

最新推荐文章于 2025-05-20 11:54:00 发布

阅读量6.3k

点赞数

CC 4.0 BY-SA版权

分类专栏：运维 Python环境

本文链接：https://blog.youkuaiyun.com/chen_ke_hao/article/details/94666036

Python环境同时被 2 个专栏收录

3 篇文章

订阅专栏

运维

2 篇文章

订阅专栏

本文解决了一个在将Kafka部署于内网并尝试从外网消费数据时遇到的问题。通过调整主机名、监听器设置以及消费者配置，确保了内外网环境下Kafka的正常运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

公司要将数据分享给第三方使用，所以要运维再内网搭建一单节点的kafka做消息中间件，kafka搭建好后，生产者生产数据正常，

将kafka的9092端口映射到外网的9092端口，但是无法消费数据，会卡住，解决方法是

1先检查主机名，主机名要与hosts文件里的一至

2再检查advertised.listeners=PLAINTEXT://shzl-mq-2:9092，这里的要填主机名，如果是仅在内网消费这里也可以写本机的IP

3然后消费者上也得写成与他一至的主机名加端口

consumer= KafkaConsumer('VideoMessage',group_id='kafka_test',bootstrap_servers=['shzl-mq-2:9092'])

注意：kafka的搭建中一下zookeeper和kafka配置文件中的主机名要保持一至，生产者和消费者代码中的主机名也要与此一致

server.1 = shzl-mq-2:2888:3888    zookeeper配置文件中的一项

kafka配置文件中的两项
advertised.listeners=PLAINTEXT://shzl-mq-2:9092
zookeeper.connect=shzl-mq-2:2181/kafka

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

chen_ke_hao

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

kafka-3-kafka应用的核心要点和内外网访问

qq_20466211的博客

02-18

1966

kafka应用的核心要点和内外网访问

kafka支持内外网访问

weixin_47139540的博客

01-24

1019

本次搭建单机版Kafka与Kafka集群，每台机器中有内网+外网单机版Kafka服务地址：192.168.1.52:9093，外网地址：2.186.2.86:9092zookeeper服务地址：192.168.1.52:2181，外网地址：2.186.2.86:2181集群版Kafka服务地址：192.168.1.52:9093，外网地址：2.186.2.86:9092Kafka服务地址：192.168.1.539093，外网地址：2.186.2.87:9092。

参与评论您还未登录，请先登录后发表或查看评论

Kafka公网访问

real向往的博客

01-08

3441

Kafka内外网访问

03 当前机器的虚拟机[NAT网络]映射出 9200 到宿主机, 局域网的其他机器访问宿主机+9200 访问不到 kafka 的服务

970655147的专栏

08-14

753

上下文是这样的 : 我开发机器上面安装了一个虚拟机, 这个虚拟机网络基于 NAT 配置的我本地机器局域网 ip 为 192.168.0.101, 虚拟机的 ip 为 192.168.220.133。

本地ip如何映射到外网？借助端口映射软件把内网地址给别人用

最新发布

csghdn的博客

05-20

867

转载：kafka通过外网映射无法访问

weixin_41645232的博客

06-22

722

百度结果： https://www.orchome.com/1903 https://www.pianshen.com/article/81081973468/ https://segmentfault.com/a/1190000020715650

Kafka跨网闸，使用映射地址无法连接

ThePromonkeyOf_HeLuo的博客

04-02

3433

作者：半兽人链接：https://www.orchome.com/1903 很多人都因为配置 kafka 外网转发而困扰，我这里统一讲一下原理和原因。场景假设比如你有一个 kafka 集群，在阿里云上，该集群有 2 个 broker，A 和 B。 kafka 集群： A 内网：172.10.0.2 外网：10.0.21.1 B 内网：172.10.0.1 外网：10.0.21.2 serve...

kafka外网映射公司有公网ip kafka外网访问 kafka外网配置

hncdyj的专栏

05-10

6008

前提条件：由于公司要和第三方对接，采用kafka对接数据，传输用SSL加密。环境配置：内网三台机器：192.168.1.55，192.168.1.56，192.168.1.57 全部绑定内网的静态ip。由于公司有几个外网ip，故而做了如下映射：开始进入kafka，配置如下：其实外网映射靠的配置只有一个： listeners=SASL_SSL://192.168.1...

一条指令，解决外网无法访问云服务器Kafka容器问题

CatchLight的博客

06-19

1911

在上一篇跟着官方文档使用docker，在云服务器上搭建了一个单节点的Kafka集群，在云服务器上连接成功，当我在笔记本上使用Spark尝试连接的时候，无法消费到数据。从上图可以看出，我在consumer config中明明将设置成了弹性公网IP，而且在笔记本上Telnet连接Kafka网络也是通的。但是当我启动Spark程序之后，程序应该输出从kakfa中消费的数据，但是程序却卡住了。从日志最后一行可以看到，这里居然连接的是localhost，这肯定是消费不到数据的。

kafka内外网连接问题

story-xu的博客

03-01

3312

部署kafka之后，发现只能被内网访问，或者配置外网之后，影响内网访问，本文介绍两种方式解决这个内外网同时访问的问题。

kafka 内网外网映射问题

Lbg_007的博客

11-06

852

原因：kafka 返回的是 listeners=PLAINTEXT://192.168.1.10:9092 的地址，外部公司访问不到公司内部的地址。解决方案： listeners 配置一个域名，外部公司的系统的服务器配置该域名到公网的映射规则，另外公网映射的时候，端口也要一致，不然有问题。背景：公司内部 kafka 要与外部单位的系统通过公网联调，公司运维做了映射后网络还是不通。

docker里面启动kafka并做端口映射，容器外无法连接，问题解决记录

热门推荐

07-20

1万+

最近研究Docker使用过程中，恰好遇上另一个需求要搭建一个kafka服务器。于是就像尝试把kafka打成docker容器。配置成功在容器内部用生产者和消费者shell脚本试了一下，发现功能是正常的，容器外使用java端和使用shell脚本去调用一直网络连接不同。当时觉得很奇怪端口映射 -p 2181:2181 -p 9092 9092都有映射，而且telnet也是可以通。网上搜了...

kafka服务器端口映射,图kafka主机端口映射

weixin_28523493的博客

07-31

939

我想使用fig与卡夫卡来管理kafka集群。图kafka主机端口映射我是无花果的初学者，我有一个hostPort映射问题。我使用kafka-docker作为kafka图像。我的无花果是这里：zookeeper:image: jplock/zookeeper:3.4.6ports:- "2181"kafka:image: wurstmeister/kafka:0.8.1.1-1ports:- "90...

kafka踩坑:kafka内网地址nat后，consumer无法消费问题，及解决方案

仙道Bob的专栏

11-20

7205

一、项目背景二、问题描述三、解决方案四、实施五、总结

Kafka以允许外网访问

PLUTOprivate的博客

04-07

1694

配置项被设置为Kafka将向客户端宣告的可访问的地址和端口。例如，如果Kafka部署在一个云服务上，并且该服务有一个公共IP，则应设置为。如果使用了Kafka集群，确保所有的broker节点的配置都进行了相应的修改。要配置Kafka以允许外网访问，您需要修改Kafka的配置文件。修改Kafka的防火墙规则，以允许外部访问9092端口。这样Kafka就会在所有网络接口上监听9092端口。####如有侵权请联系删除####重启Kafka服务以使配置生效。

记录docker下kafka公网端口映射访问

YEXIHU的专栏

09-25

1897

需求公司内网kafka需要外部访问，通过外网端口映射到kakfa内网某个端口软件 docker下部署的kafka，使用镜像为：confluentinc/cp-kafka 网络： #mermaid-svg-851N6yRTjudSJSvO .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-851N6yRTjudS

Kafka单机搭建、内网可以访问但外网无法访问的问题处理

qq_39198749的博客

03-22

575

1. kafka单机搭建 https://www.cnblogs.com/XMYG/p/15242105.html 2. 在centos7中搭建完成kafka后，windows环境下连接kafka失败，无法发送消息 2022-03-22 21:07:52.195 WARN 41828 --- [ad | producer-1] org.apache.kafka.clients.NetworkClient : [Producer clientId=producer-1] Connection to no

记录一次kafka内网向外网提供服务问题解决

jiedaodezhuti的博客

08-31

828

发现还是无法连接，当时考虑到与之前搭建复用的部分只有zk了，然后就重新搭建了一个单节点的zk，将kafka配置改为新搭建的单节点zk后，网络居然通啦，问题解决.

kafka消费者和生产者为内/外网映射情况的配置

wsyyyyy的博客

07-18

1487

IP：(请修改自己的ip地址) 内网：172.18.10.10 外网：120.78.22.22 1.先在/etc/hosts文件中添加解析记录 172.18.10.10HostName 2.修改 kafka_2.11-2.0.0/configserver.properties...

我在Linux用frp进行内外网连接，外网运行，内网搭建的kafka：

03-18

<think>嗯，用户想要通过FRP在Linux环境下配置Kafka的内外网穿透。首先，我需要回顾一下FRP的基本原理，它是一个用于内网穿透的工具，通过公网服务器将内网服务暴露出去。然后，Kafka的默认配置可能只监听内网地址，所以需要调整server.properties中的监听地址，比如设置advertised.listeners为公网地址。接下来，用户提到之前遇到外网无法访问的问题，可能涉及到防火墙或配置错误。根据引用[2]，使用FRP时需要注意端口的正确映射，尤其是Kafka的9092端口和Zookeeper的2181端口是否被正确转发。此外，FRP的配置文件中需要正确设置类型为tcp，并指定本地端口和远程端口。另外，Kafka的advertised.listeners参数是关键，必须设置为FRP服务端暴露的公网地址和端口，否则客户端虽然能连接到FRP，但Kafka会返回内网地址，导致连接失败。引用[3]提到启动Kafka的命令，可能需要检查启动脚本是否正确，是否有配置文件的路径错误。还要考虑FRP服务端和客户端的配置是否匹配，比如server_addr是否指向正确的公网服务器，对应的端口是否开放。防火墙设置方面，公网服务器的防火墙需要允许FRP的绑定端口（比如7000）和Kafka的映射端口（比如9093）通过。测试步骤中，可以先用telnet检查端口连通性，再使用kafka-console-producer.sh和consumer.sh进行实际数据收发测试。如果遇到问题，可能需要查看Kafka的日志，确认是否有连接错误或配置警告。总结下来，配置步骤大致分为：配置Kafka的监听地址，设置FRP的客户端和服务端，确保端口映射正确，处理防火墙规则，最后进行测试和问题排查。需要特别注意Kafka的advertised.listeners和FRP的端口转发设置是否正确，这两个地方容易出错。</think>### 通过FRP实现Kafka内外网穿透的配置方案 #### 一、环境准备 1. **服务端（公网服务器）** - 安装FRP服务端（frps），需开放FRP默认端口（如`7000`）和Kafka外网映射端口（如`9093`）。 - 确保防火墙放行相关端口： ```bash sudo ufw allow 7000/tcp sudo ufw allow 9093/tcp ``` 2. **客户端（内网Kafka服务器）** - 安装FRP客户端（frpc）和Kafka服务，确保Kafka在内网可正常访问。 - 修改Kafka配置（`server.properties`）： ```properties listeners=PLAINTEXT://0.0.0.0:9092 advertised.listeners=PLAINTEXT://公网IP:9093 # 需与FRP映射端口一致[^2] ``` --- #### 二、FRP配置步骤 1. **服务端配置（frps.ini）** ```ini [common] bind_port = 7000 ``` 2. **客户端配置（frpc.ini）** ```ini [common] server_addr = 公网服务器IP server_port = 7000 [kafka] type = tcp local_ip = 127.0.0.1 local_port = 9092 remote_port = 9093 # 外网访问端口 ``` --- #### 三、启动与验证 1. **启动FRP服务端（公网服务器）** ```bash ./frps -c frps.ini ``` 2. **启动FRP客户端（内网服务器）** ```bash ./frpc -c frpc.ini ``` 3. **启动Kafka服务** ```bash bin/kafka-server-start.sh config/server.properties # 确保配置已生效[^3] ``` 4. **验证外网连接** ```bash # 外网服务器测试 telnet 公网IP 9093 # 应返回连通状态 # 生产消息测试 bin/kafka-console-producer.sh --topic test --bootstrap-server 公网IP:9093 ``` --- #### 四、常见问题排查 1. **连接超时** - 检查FRP服务端/客户端日志，确认端口映射是否成功。 - 确认`advertised.listeners`与FRP映射端口一致[^2]。 2. **Kafka无法启动** - 检查`server.properties`语法，如`listeners`和`advertised.listeners`格式。 - 查看Kafka日志：`tail -f logs/server.log` 3. **数据未接收** - 确保FRP客户端持续运行，无端口冲突。 - 检查内网Kafka是否正常监听9092端口：`netstat -tunlp | grep 9092` ---