使用kafka-clients的Java API操作Kafka集群的Topic

原创 已于 2023-06-26 23:14:00 修改 · 3.8k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka-clients #kafka Java API #操作Kafka集群的Topic #Kafka集群 #java

于 2023-06-18 17:14:01 首次发布
本文展示了如何在SpringBoot2.6.3项目中，使用JDK1.8和kafka-clients-3.0.0版本，通过AdminClient来创建和删除Kafka集群的Topic。详细提供了创建和删除Topic的Java代码示例，并给出了测试请求URL。

记录：464

场景：在Spring Boot微服务集成Kafka客户端kafka-clients-3.0.0操作Kafka集群的Topic的创建和删除。

版本：JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,kafka-clients-3.0.0。

Kafka集群安装：https://blog.youkuaiyun.com/zhangbeizhen18/article/details/131156084

1.微服务中配置Kafka信息

1.1在pom.xml添加依赖

pom.xml文件：

<dependency>
  <groupId>org.apache.kafka</groupId>
  <artifactId>kafka
最低0.47元/天 解锁文章
【项目实战】Kafka中Topic创建介绍
本本本添哥
03-30 8526
Topic可以看作是一个消息队列生产者将消息发送到Topic中，消费者从Topic中消费消息。
Kafka 基础教程 — AdminClient API详解
smart_an的专栏
02-28 1116
作者简介：大家好，我是码炫码哥，前中兴通讯、美团架构师，现任某互联网公司CTO，兼职码炫课堂主讲源码系列专题代表作：《jdk源码&多线程&高并发》，《深入tomcat源码解析》，《深入netty源码解析》，《深入dubbo源码解析》，《深入springboot源码解析》，《深入spring源码解析》，《深入redis源码解析》等联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬。
kafka安装与使用
zhou_zhao_xu的博客
11-26 1534
文章目录Apache Kafka一、概述架构应用场景核心概念Topic和Log二、环境搭建准备工作安装配置环境配置启动服务三、基础使用命令行操作Topic使用发布和订阅JAVA DriverMaven依赖准备工作生产者消费者四、高级部分偏移量控制消费方式订阅（Subscribe）指定消费分区重置消费位置消费组自定义对象类型的传输序列化接口自定义对象导入工具包的依赖jar包自定义编解码器类测试生产者...
在linux上安装kafka，并使用kafka-clients实现消费者
最新发布
weixin_46085253的博客
09-25 450
Kafka依赖ZooKeeper协调服务，新版本内置了ZooKeeper（等zookeeper启动好了再启动kafka）端口冲突：确保9092（Kafka）和2181（ZooKeeper）端口未被占用。日志目录权限：确保Kafka进程有权限写入log.dirs配置的目录。5.1创建topic（localhost或你的服务器IP）Kafka依赖 Java运行环境（JDK8或更高版本）如果已经安装Java环境，可通过如下方式进行检查。从官网下载最新版Kafka（以3.7.0为例）5.3启动消费者（新终端）
java kafka 开发_使用Java API进行kafka topic开发
weixin_40002692的博客
03-04 177
package org.sunny.two;import kafka.admin.AdminClient;import kafka.admin.AdminUtils;import kafka.admin.TopicCommand;import kafka.server.ConfigType;import kafka.utils.ZkUtils;import org.apache.kafka.com...
java进阶Kafka集群实战之原理分析及优化教程全在这里
IT教育任姐姐的博客
11-01 1174
我不去想是否能够成功 既然选择了Java 便只顾风雨兼程 我不去想能否征服Kafka集群 既然钟情于Java 就勇敢地追随千锋 我不去想Kafka集群有多么晦涩难懂 既然目标是远方 留给世界的只能是努力拼搏的背影 我不去想未来是平坦还是泥泞 只要热爱Java 一切，都在前进当中 威哥力荐java进阶Kafka集群实战之原理分析及优化 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多生产者、多订阅者，基于zookeeper协调的分布式日志系统（当然.
kafka-clients源码.zip
07-17
Kafka-clients是Apache Kafka的重要组成部分，它提供了与Kafka集群交互的API，使得开发者能够构建基于Kafka的应用程序。在2.*版本中，Kafka-clients进行了多方面的优化和改进，提升了性能和稳定性。本文将通过分析...
kafka-2.10-0.10.2.1.zip
03-11
- **生产者（Producer）**：负责向Kafka集群发送消息的应用程序。 - **消费者（Consumer）**：消费主题中消息的应用程序，可以订阅一个或多个主题。 - **消费者组（Consumer Group）**：消费者可以分组，组内的每...
kafka-2.12-3.4.0.tgz
02-10
- **消费者（Consumer）**：从Kafka集群中读取消息的应用程序，可以是单个实例或消费组的一部分。 - **消费者组（Consumer Group）**：一组消费者实例，它们共享主题中的消息，每个分区只能被组内一个消费者实例...
kafka集群操作-JavaAPI操作
weixin_43100458的博客
01-21 1627
kafka集群操作-JavaAPI操作1.2、kafka集群操作-JavaAPI操作1.2.1、添加依赖1.2.2、生产者代码1.2.3、消费者代码 1.2、kafka集群操作-JavaAPI操作 1.2.1、添加依赖 创建maven工程并添加以下依赖jar包的坐标到pom.xml 下面展示一些 内联代码片。 <dependencies> <dependency> <groupId>org.apache.kafka</groupId>
kafka java客户端获取topic列表
cjj386906718的博客
07-16 4861
需要加入的依赖jar包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> </dependency> 代码如下： public static void main(String[] args) throws InterruptedException, ExecutionException { Propertie
kafka集群搭建和使用Java写kafka生产者消费者
08-09
NULL 博文链接：https://chengjianxiaoxue.iteye.com/blog/2190488
kafka-client:这是一个简单的 kafka 客户端
06-11
kafka 客户端 下载 Apache kafka 解压文件夹 焦油-xzf kafka_2.10-0.8.2.0.tgz cd kafka_2.10-0.8.2.0 启动 Zoopkeeper bin/zookeeper-server-start.sh config/zookeeper.properties & 启动服务器 bin/kafka-server-start.sh 配置/server.properties 创建测试主题 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 6 --topic test &
Java操作Kafka(KafkaAdminClient Api)
qq_39696269的博客
08-03 1777
AdminClient client = null; try { Properties properties = new Properties(); properties.put("bootstrap.servers", nodeInfo.getHOST_IP()); properties.put("connections.max.idle.ms", 10000); .
在Spring Boot微服务集成Kafka客户端(kafka-clients)操作Kafka
zhangbeizhen18的博客
06-17 5903
记录：459 场景：在Spring Boot微服务集成Kafka客户端kafka-clients-3.0.0操作Kafka。使用kafka-clients的原生KafkaProducer操作Kafka生产者Producer。使用kafka-clients的原生KafkaConsumer操作Kafka的消费者Consumer。
Kafka AdminClient java api 创建topic及发送消息
逆流而上的技术学习，真诚携手共进之陪伴的博客
01-07 4151
一、创建Topic D:\kafka\kafka_2.12-2.4.0\bin\windows>kafka-topics.bat --list --zookeeper localhost:2181 __consumer_offsets caijunjie demo test topic-test 　使用AdminClient API可以来控制对kafka服务器进行配置，我们这里使...
使用kafka-clients api操作Kafka
山鹰的专栏
02-09 5885
引入kafka-clients相关依赖     org.apache.kafka     kafka_2.10         0.9.0.1                         jmxri             com.sun.jmx                             jms             javax.jms
kafka操作API（获取topic列表、创建topic、修改topic、删除topic以及消费组的操作等）
紫蝶侠的博客
05-18 892
kafka操作API（获取topic列表、创建topic、修改topic、删除topic以及消费组的操作等）
使用kafka-clients依赖 集成kafka
qq_63880817的博客
04-24 1693
使用kafka-clients依赖 集成kafka，简单但完整地叙述了代码中构建的流程，并学习公司模块化思想，封装函数便于业务调用
Spring Boot 中仅使用 kafka-clients 依赖是否能够操作 Kafka
07-25
在 Spring Boot 项目中，**仅使用 `kafka-clients` 依赖是可以操作 Kafka 的**。`kafka-clients` 是 Apache Kafka 官方提供的 Java 客户端库，它包含了用于实现 Kafka 生产者（`KafkaProducer`）和消费者（`KafkaConsumer`）的核心类，能够直接与 Kafka 集群进行交互。 ### 使用 `kafka-clients` 实现 Kafka 操作的可行性 1. **生产者示例** 通过 `org.apache.kafka.clients.producer` 包中的类，可以创建 Kafka 生产者实例并发送消息。以下是一个基本的生产者代码示例： ```java import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord; import java.util.Properties; public class KafkaProducerExample { public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); KafkaProducer<String, String> producer = new KafkaProducer<>(props); ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "key", "value"); producer.send(record); producer.close(); } } ``` 2. **消费者示例** 通过 `org.apache.kafka.clients.consumer` 包中的类，可以创建 Kafka 消费者实例并消费消息。以下是一个基本的消费者代码示例： ```java import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import java.time.Duration; import java.util.Collections; import java.util.Properties; public class KafkaConsumerExample { public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test-group"); props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); consumer.subscribe(Collections.singletonList("my-topic")); while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); for (ConsumerRecord<String, String> record : records) { System.out.printf("Received message: (%s, %s)%n", record.key(), record.value()); } } } } ``` ### 与 `spring-kafka` 的区别 尽管 `kafka-clients` 可以直接操作 Kafka，但在 Spring Boot 项目中，通常推荐使用更高层次的封装库 `spring-kafka`，因为它提供了以下优势： - **集成 Spring 的编程模型**：支持基于注解的消息监听（如 `@KafkaListener`）。 - **简化配置与管理**：通过 `application.properties` 或 `application.yml` 配置 Kafka 相关属性，无需手动管理 Kafka 客户端实例。 - **错误处理与重试机制**：内置了对消息消费失败的处理逻辑，例如重试和死信队列（DLQ）。 - **事务支持**：提供对 Kafka 事务的集成支持，确保消息的原子性。 ### 总结 因此，在 Spring Boot 项目中，**仅使用 `kafka-clients` 是可以操作 Kafka 的**，但需要手动管理 Kafka 客户端实例和配置，适合对 Kafka 有更细粒度控制的场景。如果希望更便捷地集成 Kafka 并利用 Spring 的编程模型，则推荐使用 `spring-kafka`。 ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值