SpringBoot实现kafka-console API遇到的问题

本文介绍了使用SpringBoot开发Kafka控制台API的过程,包括解决创建Topic时遇到的replicationfactor问题及删除Topic失败的问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近在使用SpringBoot开发一套kafka的控制台API,包括增删改查topic信息、消费者分组信息以及topic的配置信息等,对kafka进行一个动态监控。过程中遇到了很多问题,先简单整理一下,以后会将开发过程也整理出来。
问题1 :
新增时出现问题:replication factor: 1 larger than available brokers: 0
解决方式:
1)复制server.properties两次,分别为server-1.properties和server-2.properties;
2)分别修改这两个文件:
broker.id=2
listeners=PLAINTEXT://:9093
log.dirs=C:/tools/kafka/kafka_2.11-0.11.0.1/kafka_logs1
broker.id=3
listeners=PLAINTEXT://:9094
log.dirs=C:/tools/kafka/kafka_2.11-0.11.0.1/kafka_logs2;
然后分别启动:.\bin\windows\kafka-server-start.bat .\config\server.properties;
.\bin\windows\kafka-server-start.bat .\config\server-1.properties
.\bin\windows\kafka-server-start.bat .\config\server-2.properties即可解决;
问题2:删除不成功
解决方式:
1)修改kafka目录下的conf/server.properties配置文件,添加delete.topic.enable=true,
2)重新启动zookeeper,kafka,重新进行删除操作。

### Spring Boot 整合 Kafka 和 Spark 的实现方案 #### 配置 Kafka 生产者与消费者 为了使 Spring Boot 应用程序能够发送和接收消息,在 `application.properties` 或 `application.yml` 文件中需指定 Kafka 服务端的相关配置,比如连接地址以及要使用的主题名称[^2]。 对于生产者而言,主要设置如下属性: ```properties spring.kafka.bootstrap-servers=localhost:9092 spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer ``` 而对于消费者,则需要额外指明 group.id 参数来区分不同的消费组实例: ```properties spring.kafka.consumer.group-id=my-group spring.kafka.consumer.auto-offset-reset=earliest spring.kafka.consumer.enable-auto-commit=true spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer ``` #### 使用 Apache Spark 处理来自 Kafka 的数据流 当接收到由 Kafka 发送过来的数据之后,可以利用 Structured Streaming API 来处理这些实时流入的数据。下面是一个简单的例子展示怎样创建一个读取自特定 topic 并执行简单转换操作的任务: ```scala import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions._ val spark = SparkSession.builder.appName("KafkaToConsole").getOrCreate() // 定义从kafka获取数据源的方式 val df = spark.readStream.format("kafka"). option("kafka.bootstrap.servers", "localhost:9092"). option("subscribe", "test-topic"). load() df.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)").writeStream. outputMode("append"). format("console"). start(). awaitTermination() ``` 这段代码会持续监听名为 test-topic 的 Topic 中的消息,并将其打印到控制台输出上。实际开发过程中可以根据业务需求调整逻辑部分,例如保存至数据库或是触发其他下游系统的调用等动作。 #### 结合 Spring Cloud Stream 简化集成工作 除了上述方法外,还可以借助于 Spring Cloud Stream 这样的框架进一步简化整个过程中的编码量并提高灵活性。通过引入 spring-cloud-stream-binder-kafka 及其对应的依赖项,开发者只需关注具体的业务功能而无需过多关心底层通信细节。 在 pom.xml 添加 Maven 依赖声明: ```xml <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-stream-kafka</artifactId> </dependency> ``` 接着定义输入/输出通道接口用于描述应用程序与其他外部组件之间的交互方式: ```java public interface MyProcessor { String INPUT = "input"; @Input(INPUT) SubscribableChannel input(); } ``` 最后编写处理器类完成对接收内容的具体加工流程即可。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值