Kafka集成

本文详细介绍如何在Cloudera Manager环境下安装Kafka集群,包括下载并安装Kafka软件包,配置BrokerID和SourceBrokerList参数,以及通过CM界面进行服务的分配、激活和配置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.安装

1.1 在cm主节点服务器上下载包

wget http://archive.cloudera.com/kafka/parcels/2.1.2/KAFKA-2.1.2-1.2.1.2.p0.6-el7.parcel
wget http://archive.cloudera.com/kafka/parcels/2.1.2/KAFKA-2.1.2-1.2.1.2.p0.6-el7.parcel.sha1
wget http://archive.cloudera.com/kafka/parcels/2.1.2/manifest.json

1.2 将.sha1 后缀改为 .sha

1.3 把上述文件复制到 /opt/cloudera/parcel-repo目录下,如果有文件重名,如manifest.json,把以前的重命名后再复制Kafka的manifest.json文件。

2.添加服务

2.1 分配、激活

  • 登陆Cloudera Manager页面,主机->parcel->检查新parcel
  • 找到KAFKA-2.1.2-1.2.1.2.p0.6,点击分配
  • 分配成功后点击激活

2.2 添加配置

  • 选择集群,添加服务
    在这里插入图片描述

  • Broker ID:Kafka默认均为0,自行修改为不相同的数字

  • Source Broker List: 所有安装Kafka和zookeeper的集群主机ip(用,分割)

在Spring Boot项目中集成Apache Kafka可以通过Spring Kafka库实现,这是一个由Spring官方提供的简化Kafka集成的模块。以下是一个完整的集成指南: ### 添加依赖 首先,在`pom.xml`文件中添加Spring Kafka和Apache Kafka客户端的依赖。如果使用Spring Boot的Starter Parent,可以直接通过`spring-boot-starter-data-kafka`引入: ```xml <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>3.0.0</version> </dependency> ``` ### 配置Kafka属性 在`application.properties`或`application.yml`中配置Kafka的生产者和消费者相关属性。例如,在`application.properties`中添加以下内容: ```properties # Kafka配置 spring.kafka.bootstrap-servers=localhost:9092 # 生产者配置 spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer # 消费者配置 spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer spring.kafka.consumer.auto-offset-reset=earliest spring.kafka.consumer.group-id=my-group ``` ### 创建Kafka生产者 通过`KafkaTemplate`类实现消息的发送。可以创建一个服务类来封装发送逻辑: ```java import org.springframework.beans.factory.annotation.Autowired; import org.springframework.kafka.core.KafkaTemplate; import org.springframework.stereotype.Service; @Service public class KafkaProducerService { private static final String TOPIC = "example-topic"; @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String message) { kafkaTemplate.send(TOPIC, message); } } ``` ### 创建Kafka消费者 使用`@KafkaListener`注解监听特定主题的消息。以下是一个消费者示例类: ```java import org.springframework.kafka.annotation.KafkaListener; import org.springframework.stereotype.Service; @Service public class KafkaConsumerService { @KafkaListener(topics = "example-topic", groupId = "my-group") public void consume(String message) { System.out.println("Consumed message: " + message); } } ``` ### 启用Kafka支持 确保在主应用类或配置类上添加`@EnableKafka`注解以启用Kafka支持: ```java import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.kafka.annotation.EnableKafka; @SpringBootApplication @EnableKafka public class KafkaSpringBootApplication { public static void main(String[] args) { SpringApplication.run(KafkaSpringBootApplication.class, args); } } ``` ### 测试Kafka集成 启动Kafka服务并运行Spring Boot应用,通过调用生产者服务发送消息,并验证消费者是否能够正确接收和处理消息。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值