本地kafka客户端远程密码访问kafka服务端

原创已于 2023-12-07 13:29:36 修改 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #分布式

于 2023-11-02 18:40:28 首次发布

本文详细指导如何配置Kafka的SASL安全协议，包括设置客户端和服务器间的通信，创建并管理topic，以及使用producer和consumer进行数据传输，确保了远程连接和安全操作。

1.确保kafka服务端已经配置SASL/PLANTEXT ACL

2.确保kafka客户端与kafka服务端网络通

3.在kafka客户端在路径为…/kafka/config/下创建client.properties文件修改producer.properties、consumer.properties

security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="fw" password="";

4.远程连接kafka服务端并创建topic（ip为kafka服务端ip，以下执行程序为kafka安装目录）

./bin/kafka-topics.sh --create --topic test1102 --bootstrap-server ip1:port1,ip2:port2,ip3:port3 --partitions 3 --replication-factor 1 --command-config ./config/client.properties

5.远程连接kafka服务端并开启生产者

./bin/kafka-console-producer.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3 --topic test1102 --producer.config ./config/producer.properties

6.远程连接kafka服务端并开启消费者

./bin/kafka-console-consumer.sh --bootstrap-server ip1:port1,ip2:port2,ip3:port3 --topic test1102 --consumer.config ./config/consumer.properties

7.效果

创建topic
在这里插入图片描述
开启生产

开启消费

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

One Bird

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Kafka 教程：实现远程访问

YazIdris的博客

09-23

1998

本教程将介绍如何通过远程访问实现与 Kafka 的通信，并提供相应的源代码示例。通过配置 Kafka 服务器以支持远程访问，并编写相应的生产者和消费者代码，我们可以在远程环境中与 Kafka 进行通信。首先，我们需要创建一个 Kafka 生产者，用于发送消息到 Kafka 服务器。另外，我们还需创建一个 Kafka 消费者，用于从 Kafka 服务器接收消息。请注意，本示例中的代码仅用于演示目的，并没有包含完整的错误处理和异常处理逻辑。首先，我们需要在 Kafka 服务器上进行一些配置，以支持远程访问。

Kafka服务器实现远程客户端连接

YazIdris的博客

09-18

1472

Kafka是一个流行的分布式消息传递系统，它允许高吞吐量的数据流在多个应用程序或服务之间进行可靠的发布和订阅。Kafka的设计目标之一是支持远程客户端连接，这使得开发人员能够从不同的位置连接到Kafka服务器并与其进行通信。通过修改Kafka服务器的配置并使用适当的客户端代码，您可以轻松地与远程Kafka服务器进行交互。编译并运行上述Java程序，它将连接到远程Kafka服务器并发送一条消息到指定的主题。打开Kafka安装目录下的。Kafka将开始监听指定的IP地址和端口，并准备接收远程客户端的连接。

参与评论您还未登录，请先登录后发表或查看评论

kafka 教程(三)-远程访问

weixin_30621919的博客

09-10

1797

远程连接 kafka 配置默认的 kafka 配置是无法远程访问的，解决该问题有几个方案。方案1 advertised.listeners=PLAINTEXT://IP:9092 注意必须是 ip，不能是 hostname 方案2 advertised.listeners=PLAINTEXT://node0:9092 node0 是 hostnam...

消息中间件之二：kafka详解

企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com

09-02

1190

概述 Kafka是一种分布式的，基于发布/订阅的消息系统。整理中……

连接远程的kafka【linux】

小心星的博客

05-29

2072

连接远程的kafka【linux】

kafka配置远程连接

weixin_59244784的博客

08-19

2348

kafka配置远程连接

Kafka 服务端：接收客户端的连接（十）

AcWare 学习笔记

11-26

1127

Kafka 是服务端的启动类，启动类会启动 KafkaServerStartable.startup() 方法来调用 KafkaServer.startup() 启动服务 KafkaServer 是 kafka 服务端的主类，涉及网络层的服务组件是 SocketServer、KafkaApis、KafkaRequestHandlerPool /** * Represents the lifecycle of a single Kafka broker. Handles all functional

远程客户端连接Kafka

yeshu2780的博客

11-25

9347

一、原因描述安装好Kafka（服务端ip为192.168.116.128(本地虚拟机)），在Linux服务器上使用kafka-console-consumer和kafka-console-producer，进行生产者和消费者测试，能进行正常的接发消息。但是通过远程客户端的作为生产者，无法与kafka服务端建立连接。二、问题排查 1、排查是不是服务器的防火墙原因，导致服务器的9092端口不能被window连接上，在window上执行telnet 192.168.116.128 9...

Kafka 3.0 源码笔记(4)-Kafka 服务端对客户端的 Fetch 请求处理

谈谈1974

01-20

3413

文章目录前言1. Kafka 的文件存储结构2. 来自客户端的 Fetch 请求处理前言在 Kafka 3.0 源码笔记(3)-Kafka 消费者的核心流程源码分析中笔者介绍了 Kafka 的客户端之一消费者 Consumer 拉取消息的流程，而Kafka 3.0 源码笔记(2)-Kafka 服务端的启动与请求处理源码分析一文则从服务器层面解析了 Kafka 服务端接收请求的关键，本文则将以来自客户端的 Fetch 请求的处理为例，大致分析 Kafka 服务端对请求的业务处理此处之所以强调来自客

kafka客户端发布record(消息)

weixin_34115824的博客

05-16

280

kafka客户端发布record(消息)到kafka集群。新的生产者是线程安全的，在线程之间共享单个生产者实例，通常单例比多个实例要快。一个简单的例子，使用producer发送一个有序的key/value(键值对)，放到java的main方法里就能直接运行， Properties props = new Properties(); props.put("bootstrap.serve...

kafka客户端

09-04

1/kafka是一个分布式的消息缓存系统 2/kafka集群中的服务器都叫做broker 3/kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接 4/kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消息topic都会被分区，以分担消息读写的负载 5/每一个分区都可以有多个副本，以防止数据的丢失 6/某一个分区中的数据如果需要更新，都必须通过该分区所有副本中的leader来更新 7/消费者可以分组，比如有两个消费者组A和B，共同消费一个topic：order_info,A和B所消费的消息不会重复比如 order_info 中有100个消息，每个消息有一个id,编号从0-99，那么，如果A组消费0-49号，B组就消费50-99号 8/消费者在具体消费某个topic中的消息时，可以指定起始偏移量每个partition只能同一个group中的同一个consumer消费，但多个Consumer Group可同时消费同一个partition。 n个topic可以被n个Consumer Group消费，每个Consumer Group有多个Consumer消费同一个topic Topic在逻辑上可以被认为是一个queue，每条消费都必须指定它的Topic，可以简单理解为必须指明把这条消息放进哪个queue里。为了使得Kafka的吞吐率可以线性提高，物理上把Topic分成一个或多个Partition，每个Partition在物理上对应一个文件夹，该文件夹下存储这个Partition的所有消息和索引文件。若创建topic1和topic2两个topic，且分别有13个和19个分区 Kafka的设计理念之一就是同时提供离线处理和实时处理。根据这一特性，可以使用Storm这种实时流处理系统对消息进行实时在线处理，同时使用Hadoop这种批处理系统进行离线处理，还可以同时将数据实时备份到另一个数据中心，只需要保证这三个操作所使用的Consumer属于不同的Consumer Group即可。

记录一次Linux启动kafka后并配置了本地服务连接远程kafka的地址后依旧连接localhost的问题

qq_53010925的博客

06-07

713

kafka连接问题

kafka本地调试

silyvin

05-01

874

主要本地调试命令 nohup bin/kafka-server-start.sh config/server.properties & bin/kafka-server-stop.sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --to

Debian（Linux通用）安装 Kafka 并配置远程访问

泡泡的博客

11-01

4194

As we all know，当今世界最流行的消息中间件有 RabbitMq、RocketMq、Kafka，其中，应用最广泛的是RabbitMq，RocketMq是阿里巴巴的产品，性能超过 RabbitMq，已经经受了多年的双11考验，但是怕哪天阿里不维护了，用的人不多，Kafka。

kafka远程访问配置

weixin_45038261的博客

12-27

222

kafka/config/server.properties 配置文件，添加以下两行。

Kafka使用Java客户端进行访问

lin的专栏

02-25

1887

本文环境如下：操作系统：CentOS 6 64位 JDK版本：1.8.0_171 64位 Kafka版本：kafka_2.12-2.1.1 1. maven依赖包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</arti...

Kafka的Java客户端访问以及整合SpringBoot

业精于勤，荒于嬉

08-01

781

一、基本使用以2.4.1 release版本为例—kafka_2.11-2.4.1.tgz，其中2.11是scala的版本，2.4.1是kafka的版本 0.准备 Kafka运行在JVM上，因此需要先安装JDK Kafka依赖zookeeper，因此需要先安装并启动zookeeper（不安装也可，Kafka中会自带zookeeper，推荐自行安装） 1.下载解压解压完成后，可以使用bin目录下的脚本对Kafka进行下列操作，此处略过。 2.修改配置config/server.properties 修改b

Java 客户端访问 Kafka

不负年华

03-09

745

Java 客户端访问 Kafka 1，依赖引入 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.4.1</version> </dependency> 2，消息生产端代码 package com.example.kafkademo.produce

kafka安装与使用远程代码进行访问 --附踩坑记录

一只码农的成长之路

09-15

2830

转载请注明出处、毕竟纯手打谢谢 kafka安装和使用java连接远程服务器进行消息的生成与消费首先要使用kafka，要有jdk和zookeeper的环境本文在阿里云的centos7环境上进行 jdk版本选择的是1.8.0_181 zookeeper的版本是3.4.12 kafka的版本是2.12-1.1.1 关于kafka命令的介绍本文不介绍了只介绍怎么搭建一个kafka单点...

idea配置kafka客户端

最新发布

01-04

### 如何在 IntelliJ IDEA 中配置 Kafka 客户端 #### 配置 Maven 或 Gradle 项目依赖项为了能够在 IntelliJ IDEA 中使用 Kafka 客户端，需要先确保项目的构建工具（Maven 或 Gradle）包含了合适的 Kafka 库。对于 Maven 来说，在 `pom.xml` 文件里加入如下依赖： ```xml <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>${kafka.version}</version> </dependency> ``` 而对于采用 Gradle 的项目，则应在 `build.gradle` 添加相应的库声明[^4]: ```groovy implementation 'org.apache.kafka:kafka-clients:${kafka_version}' ``` 这里 `${kafka.version}` 和 `${kafka_version}` 是占位符，实际应用时应替换为具体版本号。 #### 设置 Kafka 运行环境除了引入必要的 Java 类库外，还需要准备本地或远程的 Kafka 实例作为服务端。这可以通过官方提供的二进制包完成安装与部署工作[^5]。当一切就绪之后，就可以着手编写测试程序验证连接状况了。 #### 编写简单的生产者/消费者代码示例下面给出一段基础的消息生产和消费逻辑实现方式。首先是消息生产者的部分： ```java import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord; import java.util.Properties; public class SimpleProducer { private static final String TOPIC_NAME = "test-topic"; public static void main(String[] args) throws Exception { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) { for (int i = 0; i < 10; ++i) { producer.send(new ProducerRecord<>(TOPIC_NAME, Integer.toString(i), "Message-" + i)); } } } } ``` 接着是对应的消费者端代码片段： ```java import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import java.time.Duration; import java.util.Collections; import java.util.Properties; public class SimpleConsumer { private static final String TOPIC_NAME = "test-topic"; public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test-group"); props.put("enable.auto.commit", "true"); props.put("auto.offset.reset", "earliest"); props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); try (KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props)) { consumer.subscribe(Collections.singletonList(TOPIC_NAME)); while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); for (var record : records) { System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value()); } } } } } ``` 以上就是关于如何在 IntelliJ IDEA 上搭建起基本的 Kafka 开发框架的大致流程[^2]。