CDH6.3.2 集群（阿里腾讯云）kafka配置外网访问配置

CDH6.3.2 Kafka公网配置

最新推荐文章于 2025-09-28 17:09:00 发布

原创最新推荐文章于 2025-09-28 17:09:00 发布 · 2.8k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

本文介绍如何在CDH6.3.2环境下配置Kafka以支持公网访问，具体步骤包括设置集群机器间的公网IP互通，并在kafka.properties文件中添加必要的监听配置。

公司需要云上搭建的CDH6.3.2测试环境，为方便本地调试连接Kafka需要配置通过公网访问

如果在云上有公网安全组，一定把集群每台机器的公网IP配置互通

在kafka.properties中添加下面两行，IP为每台机器的公网IP

listeners=PLAINTEXT://0.0.0.0:9092,
advertised.listeners=PLAINTEXT://IP:9092

在每一个Kafka节点配置重启即可

listeners=PLAINTEXT://0.0.0.0:9092,
advertised.listeners=PLAINTEXT://IP:9092

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

regin@wrj

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

精选资源

cdh6.3.2编译的ranger版本

08-03

总结来说，"cdh6.3.2编译的ranger版本"提供了便捷的权限管理方案，覆盖了CDH中的多个核心组件，简化了安装过程，并增强了整个集群的安全性。对于那些需要在CDH环境中进行权限管控的组织，这是一个非常有价值的资源。

含Kerberos的CDH6.3.2的Kafka集群外网通配符地址访问配置

h952520296的博客

01-10

1422

基于CDH6..3.2在云上搭建了一套大数据的环境，在内网可以正常访问Kafka集群，但是在window开发环境下无法访问（因为无法访问9092端口，cdh 的kafka默认启动在内网ip上不是通配符，无法生产和消费数据），通过尝试最终解决问题，如下记录修改kafka.properties 在kafka.properties中添加下面两行，node01是Kafka节点IP。在CDH环境下，kafka.properties是动态生成的，直接修改配置文件没用，需要在CDH的管理界面修改配置，步骤

参与评论您还未登录，请先登录后发表或查看评论

基于CDH6.2的Kafka集群外网访问配置

on the way . . .

08-06

2122

Backgroud 最近遇到这样一个情况：基于CDH6.2在国科云上搭建了一套大数据的环境，没有给v-p-n，在内网可以正常访问Kafka集群，但是在window开发环境下无法访问（其实是无法访问9092端口，无法生产和消费数据），通过尝试最终解决问题，如下记录：修改kafka.properties 在kafka.properties中添加下面两行，node01是Kafka节点IP。但是在CDH环境下，kafka.properties是动态生成的，直接修改配置文件没用，需要在CDH的管理界面修改配

通过公网IP访问腾讯云轻量服务器的某个端口

最新发布

qq_63786218的博客

09-28

500

在腾讯云轻量服务器上部署项目时，仅运行项目无法通过公网IP访问，需额外配置端口开放。首先在腾讯云控制台防火墙中添加规则，允许指定端口（如5000）的TCP流量。然后在系统中执行命令开放对应端口并重载防火墙配置。通过firewall-cmd --list-all可验证端口是否成功开放。完成这两步操作后，项目才能通过公网IP访问指定端口。

kafka配置_kafka配置内外网访问

weixin_39831039的博客

12-01

1877

最近公司需要在阿里云配置一个Kafka集群实现内网和外网均可访问，折腾了一下午才弄出来，其中遇到一些配置问题总结如下：listeners: 学名叫监听器，其实就是告诉外部连接者要通过什么协议访问指定主机名和端口开放的 Kafka 服务。advertised.listeners：和 listeners 相比多了个 advertised。Advertised 的含义表示宣称的、公布的，就是说这组监听器...

记录CDH-kafka配置外网

qq_42389487的博客

12-28

444

因为项目需要，需隔壁项目组协助拉取数据，但是公司用的阿里云，且两边的集群不在同一内网，故而需要开放kafka的端口给另外的项目组，以便于他们通过外网连接到kafka。记录以下配置，重启后生效。

云服务器(Linux)安装部署Kafka

wssc的博客

11-14

1504

kafka的安装需要依赖于jdk，需要在服务器上提前安装好该环境，这里使用用jdk1.8。

CDH6.3.2之Kafka配置和命令

ArYe

08-10

3912

如图示，每5分钟，日志清理程序会根据日志保留策略来清理符合删除条件的日志。：每个主题分区保留在日志中的数据量，设-1时无限制。创建，则消费者偏移量保存在ZooKeeper中。：点击具有Kafka服务的主机，然后点击组件。：日志保留时长，设-1时无限制，建议3天。创建，则消费者偏移量保存在Kafka中。会把主题以往所有数据都读取出来）建议给4~6G每个Broker。如果不知道CDH装哪，就把。可接收的单个消息的最大值（...

CDH6.3.2集群部署

大数据进阶之路

11-29

1229

CDH6.3.2集群部署在阿里云上部署CDH6.3.2集群，本人使用四台机器，自己部署是可以选择自行规划节点角色。 1. 基础配置 1. 角色规划节点节点主要角色备注 cdh1 cdh2 cdh3 cdh4 2. 修改hostname（所有节点） hostnamectl set-hostname cdh1 hostnamectl set-hostname cdh2 hostnamectl set-hostname cdh3 hostnamectl se

Kafka 云服务器分别配置内外网访问

DraGon_HooRay的博客

01-11

4120

项目场景：在 docker 部署或云服务器上部署，需要内外网分流的时候。在Windows上连接阿里云服务器上部署的Kafka服务报错问题描述： Idea中创建Consumer报错：java.lang.IllegalStateException: No entry found for connection 2147483609 解决方案：方案一：在客户端机器上修改hosts文件，配置上kafka所在服务器的hosts文件内的映射关系。这显然不是明智之举，不安全且麻烦。方案二：在公司内网部

如何在阿里云服务器上配置部署kafka

DreamsArchitects的博客

08-31

5332

在云服务器上配置部署kafka和zookeeper一、介绍二、打开防护墙端口2181、9092三、打开云服务器的端口四、修改Kafka的配置文件一、介绍同样将压缩包通过ssh工具上传到我们的云服务器上，解压即可。 zookeeper的配置是和本地服务器配置是一样的，具体请参考这篇文章CentOS7安装部署kafka和zookeeper，但是不同的是kafka的配置文件的修改。二、打开防护墙端口2181、9092 firewall-cmd --zone=public --add-port=2181/tc

云服务器环境安装与配置：kafka集群

maoyuanming0806的博客

10-28

2133

本文详细说明kafka集群安装和命令行的基本使用文章目录环境安装1，传包与解压2，创建log文件夹3，配置kafka4，分发配置好的kafka文件5，修改另两台文件中的broker.id值和host.name值6，启动kafka集群测试集群三台机器都使用jps命令检查命令行验证1 创建topic2 查看topic3 开启发送者（生产者）并发送消息4 开启消费者并接收消息[附录]操作完整流程 ...

中间件上云部署 kafka

weixin_54720351的博客

07-19

935

Apache Kafka是一种流行的分布式流式消息平台。Kafka生产者将数据写入分区主题，这些主题通过可配置的副本存储到broker群集上。消费者来消费存储在broker的分区生成的数据。在当前终端或另一个终端中创建数据消费者，消费数据。查看test01 topic相关描述信息。创建数据生产者，添加数据。

CDH6.3.1搭建(完全离线搭建不需要外网)

weixin_41872669的博客

01-19

1817

集群环境配置(至少3台机器配置server节点16G起步 agent节点4G起步 server节点内存过小会导致机器在启动该进程的时候机器卡死) 1.所有节点配置host文件: echo “192.168.15.151 cm1”>> /etc/hosts echo “192.168.15.152 cm2”>> /etc/hosts echo “192.168.15.153 cm3”>> /etc/hosts 2.关闭防火墙清空清空防护墙规则(根据企业网络安全需要可以

hadoop基础----hadoop实战(七)-----hadoop管理工具---使用Cloudera Manager安装Hadoop---Cloudera Manager和CDH5.8离线安装

热门推荐

直到世界的尽头

11-29

1万+

hadoop基础----hadoop实战(六)-----hadoop管理工具---Cloudera Manager---CDH介绍简介我们在上篇文章中已经了解了CDH，为了后续的学习，我们本章就来安装CDH5.8。CDH5.8是目前比较新的版本，自带hadoop2.0以上的hadoop，而且已经包含了很多组件，也是我们接下来需要学习的hadoop生态圈中的组件。环境Cloudera Manager

CDH6.2.1集群kafka配置外网访问配置

s243471087的博客

10-28

1457

在Kafka每个节点中添加： listeners=PLAINTEXT://0.0.0.0:9092, advertised.listeners=PLAINTEXT://10.128.53.66:9092 选择KAFKA服务后，单独点击每个节点的配置在每个节点配置下搜索高级，添加上面两行参数，advertised.listeners 为对应的ip 所有节点修改完后，重启kafka。在Kafka节点执行如下命令，可以看到9092端口的监听地址从原来的本机IP变成了两个冒号（:::9092）或者是四个

阿里云服务器部署zookeeper集群+kafka集群

BrillianY的博客

01-21

959

阿里云部署zookeeper集群+kafka集群，遇到的问题及解决

kafka集群如何内外网均可访问

ccccccccc

12-27

1万+

有3台kafka集群broker，以下ip地址均属杜撰，仅仅做举例用 hostname 内网ip 外网Ip kafka1 10.0.0.1 139.0.0.1 kafka2 10.0.0.2 139.0.0.2 kafka3 10.0.0.3 139.0.0.3 本来kafka集群配置的listener参数如下: # The address the socket ser...

实现kafka部署阿里云

jiankang66的博客

10-30

2013

一、简介 Apache Kafka是一个开源消息系统项目，由Scala写成。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。是一个分布式的、分区的、多复本的日志提交服务。它通过一种独一无二的设计提供了一个消息系统的功能。现在来实现一下部署到阿里云，并进行一些基本命令操作。二、具体实现 1、官网下载kafka Binary包，这种包通过Scala 构建。可以直接启动。非这种包无法直接启动。我下载的是2.4.0版本。地址： Apache Kafka ...

CDH 6.3.2 集成 Phoenix 安装配置指南

CDH6.3.2 集成 Phoenix 是大数据生态系统中一项非常关键的技术整合，尤其在需要实现 SQL on HBase 场景下具有重要意义。Phoenix 作为构建在 Apache HBase 之上的开源 SQL 层，允许用户通过标准 SQL 语句对 HBase 中...