Kafka Java SSL(Consumer/Producer) Demo

最新推荐文章于 2024-07-26 03:17:55 发布
置顶 最新推荐文章于 2024-07-26 03:17:55 发布
阅读量2.4k 收藏 3
点赞数 1
分类专栏： Kafka 文章标签： SSL kafka demo consumer producer
本文提供了Kafka Java客户端使用SSL的示例，包括基本的生产者和消费者示例，以及使用SSL加密通信的高级示例，确保数据在传输过程中的安全性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

<dependency>
	<groupId>org.apache.kafka</groupId>
	<artifactId>kafka-clients</artifactId>
	<version>0.10.0.1</version>
</dependency>

基本生产者示例

package com.hortonworks.example.kafka.producer;

import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

import java.util.Properties;
import java.util.Random;

public class BasicProducerExample {

   public static void main(String[] args){

       Properties props = new Properties();
       props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka.example.com:6667");
       props.put(ProducerConfig.ACKS_CONFIG, "all");
       props.put(ProducerConfig.RETRIES_CONFIG, 0);
       props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
       props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

       Producer<String, String> producer = new KafkaProducer<String, String>(props);
       TestCallback callback = new TestCallback();
       Random rnd = new Random();
       for (long i = 0; i < 100 ; i++) {
           ProducerRecord<String, String> data = new ProducerRecord<String, String>(
                   "test-topic", "key-" + i, "message-"+i );
           producer.send(data, callback);
       }

       producer.close();
   }


   private static class TestCallback implements Callback {
       @Override
       public void onCompletion(RecordMetadata recordMetadata, Exception e) {
           if (e != null) {
               System.out.println("Error while producing message to topic :" + recordMetadata);
               e.printStackTrace();
           } else {
               String message = String.format("sent message to topic:%s partition:%s  offset:%s", recordMetadata.topic(), recordMetadata.partition(), recordMetadata.offset());
               System.out.println(message);
           }
       }
   }

}

SSL生产者示例

package com.hortonworks.example.kafka.producer;

import org.apache.kafka.clients.CommonClientConfigs;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
import org.apache.kafka.common.config.SslConfigs;

import java.util.Properties;
import java.util.Random;

public class BasicProducerExample {

   public static void main(String[] args){

       Properties props = new Properties();
       props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka.example.com:6667");

       //configure the following three settings for SSL Encryption
       props.put(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, "SSL");
       props.put(SslConfigs.SSL_TRUSTSTORE_LOCATION_CONFIG, "/var/private/ssl/kafka.client.truststore.jks");
       props.put(SslConfigs.SSL_TRUSTSTORE_PASSWORD_CONFIG,  "test1234");

       // configure the following three settings for SSL Authentication
       props.put(SslConfigs.SSL_KEYSTORE_LOCATION_CONFIG, "/var/private/ssl/kafka.client.keystore.jks");
       props.put(SslConfigs.SSL_KEYSTORE_PASSWORD_CONFIG, "test1234");
       props.put(SslConfigs.SSL_KEY_PASSWORD_CONFIG, "test1234");
       
       props.put(ProducerConfig.ACKS_CONFIG, "all");
       props.put(ProducerConfig.RETRIES_CONFIG, 0);
       props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
       props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

       Producer<String, String> producer = new KafkaProducer<String, String>(props);
       TestCallback callback = new TestCallback();
       Random rnd = new Random();
       for (long i = 0; i < 100 ; i++) {
           ProducerRecord<String, String> data = new ProducerRecord<String, String>(
                   "test-topic", "key-" + i, "message-"+i );
           producer.send(data, callback);
       }

       producer.close();
   }


   private static class TestCallback implements Callback {
       @Override
       public void onCompletion(RecordMetadata recordMetadata, Exception e) {
           if (e != null) {
               System.out.println("Error while producing message to topic :" + recordMetadata);
               e.printStackTrace();
           } else {
               String message = String.format("sent message to topic:%s partition:%s  offset:%s", recordMetadata.topic(), recordMetadata.partition(), recordMetadata.offset());
               System.out.println(message);
           }
       }
   }

}

基本消费者示例

package com.hortonworks.example.kafka.consumer;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRebalanceListener;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.TopicPartition;

import java.util.Collection;
import java.util.Collections;
import java.util.Properties;

public class BasicConsumerExample {

   public static void main(String[] args) {

       Properties consumerConfig = new Properties();
       consumerConfig.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka.example.com:6667");
       consumerConfig.put(ConsumerConfig.GROUP_ID_CONFIG, "my-group");
       consumerConfig.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
       consumerConfig.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
       consumerConfig.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
       KafkaConsumer<byte[], byte[]> consumer = new KafkaConsumer<>(consumerConfig);
       TestConsumerRebalanceListener rebalanceListener = new TestConsumerRebalanceListener();
       consumer.subscribe(Collections.singletonList("test-topic"), rebalanceListener);

       while (true) {
           ConsumerRecords<byte[], byte[]> records = consumer.poll(1000);
           for (ConsumerRecord<byte[], byte[]> record : records) {
               System.out.printf("Received Message topic =%s, partition =%s, offset = %d, key = %s, value = %s\n", record.topic(), record.partition(), record.offset(), record.key(), record.value());
           }

           consumer.commitSync();
       }

   }

   private static class  TestConsumerRebalanceListener implements ConsumerRebalanceListener {
       @Override
       public void onPartitionsRevoked(Collection<TopicPartition> partitions) {
           System.out.println("Called onPartitionsRevoked with partitions:" + partitions);
       }

       @Override
       public void onPartitionsAssigned(Collection<TopicPartition> partitions) {
           System.out.println("Called onPartitionsAssigned with partitions:" + partitions);
       }
   }

}

SSL消费者示例

package com.hortonworks.example.kafka.consumer;

import org.apache.kafka.clients.CommonClientConfigs;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRebalanceListener;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.TopicPartition;
import org.apache.kafka.common.config.SslConfigs;

import java.util.Collection;
import java.util.Collections;
import java.util.Properties;

public class BasicConsumerExample {

   public static void main(String[] args) {

       Properties props = new Properties();
       props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka.example.com:6667");
       
       //configure the following three settings for SSL Encryption
       props.put(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, "SSL");
       props.put(SslConfigs.SSL_TRUSTSTORE_LOCATION_CONFIG, "/var/private/ssl/kafka.client.truststore.jks");
       props.put(SslConfigs.SSL_TRUSTSTORE_PASSWORD_CONFIG,  "test1234");
       
       //configure the following three settings for SSL Authentication
       props.put(SslConfigs.SSL_KEYSTORE_LOCATION_CONFIG, "/var/private/ssl/kafka.client.keystore.jks");
       props.put(SslConfigs.SSL_KEYSTORE_PASSWORD_CONFIG, "test1234");
       props.put(SslConfigs.SSL_KEY_PASSWORD_CONFIG, "test1234");
       
       props.put(ConsumerConfig.GROUP_ID_CONFIG, "my-group");
       props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
       props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
       props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
       KafkaConsumer<byte[], byte[]> consumer = new KafkaConsumer<>(props);
       TestConsumerRebalanceListener rebalanceListener = new TestConsumerRebalanceListener();
       consumer.subscribe(Collections.singletonList("test-topic"), rebalanceListener);

       while (true) {
           ConsumerRecords<byte[], byte[]> records = consumer.poll(1000);
           for (ConsumerRecord<byte[], byte[]> record : records) {
               System.out.printf("Received Message topic =%s, partition =%s, offset = %d, key = %s, value = %s\n", record.topic(), record.partition(), record.offset(), record.key(), record.value());
           }

           consumer.commitSync();
       }

   }

   private static class  TestConsumerRebalanceListener implements ConsumerRebalanceListener {
       @Override
       public void onPartitionsRevoked(Collection<TopicPartition> partitions) {
           System.out.println("Called onPartitionsRevoked with partitions:" + partitions);
       }

       @Override
       public void onPartitionsAssigned(Collection<TopicPartition> partitions) {
           System.out.println("Called onPartitionsAssigned with partitions:" + partitions);
       }
   }

}













kafka生产者SSL证书认证-----java代码
zxs281的博客
12-13 1661
Properties producerProps = new Properties(); producerProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.142.153.68:8092,10.142.153.69:8092,10.142.153.70:8092,10.142.153.71:8092"); producer...
java kafka ssl_Kafka创建SSL证书
weixin_39760368的博客
02-25 537
对于消息组件，如果按照最初的设计来讲，性能最高得就是RabbitMQ，因为RabbitMQ设计比较完整，而Kafka不同，Kafka最初的设计最大的坑：没有安全认证，所以最初的一些系统设计的时候为了考虑到安全性，所以采用了性能较差的ssl认证方式来进行出来，也就是说使用证书的方式来处理认证操作。如果要想进行证书的ssl处理，那么肯定需要通过java中的keytool工具生成相应的证书信息，而后将此...
kafka java代码的使用[Producer和Consumer]
NotAfraid_ZQ的博客
08-11 802
用java代码对kafka消息进行消费与发送，首先我们得引入相关jar包   maven:   &lt;dependency&gt; &lt;groupId&gt;org.apache.kafka&lt;/groupId&gt; &lt;artifactId&gt;kafka_2.10&lt;/artifactId&gt; &lt;version&gt;0.8.2.1...
java kafka ssl_kafka SSL配置
weixin_39602280的博客
02-25 1978
12月 26, 2016 |Nix.Huang一、证书产生#CA产生自己的私钥(存于ca-key文件)和证书(存于ca-cert文件)，在当前目录(本文由javacoder.cn博主整理，转载请注明出处)openssl req -new -x509 -keyout ca-key -out ca-cert -days 365#在kafka服务器上执行，如果有多台服务器，请在每台上都执行。-alias...
JAVA连接Kafka及SSL认证
zhi_yin的博客
03-15 3543
【代码】JAVA连接Kafka及SSL认证。
【Kafka】生产者Producer详解
qq_43745578的博客
01-23 2796
详细讲解kafka的生产者
kafka生产者和消费者Demo
12-07
7. **安全性**：如果Kafka集群配置了安全机制，如SASL或SSL，Springboot应用需要相应的安全配置，包括证书、密钥和认证机制。 8. **异常处理**：在生产者和消费者中，都应考虑异常处理，例如消息发送失败或者消费...
Java Kafka生产者/消费者示例应用
### Java Kafka 生产者/消费者demo知识点解析 #### 1. Kafka基础概念 Apache Kafka是一个分布式流处理平台，主要用于构建实时数据管道和流应用程序。它具有高性能、可扩展性和可容错性的特点。Kafka的使用场景包括...
spring boot结合kafka 对接采用SSL加密进行数据交换
Trouvailless的博客
06-20 1166
交换中心采用基于Kafka的分布式消息服务来实现，省厅建立交换中心，园区建立交换节点，交换节点将数据按照消息样例并加密后发送至省厅kafka对应的topic，完成数据的交换
kafkaDemo样例
11-16
5. **配置与运行**：在KafkaDemo中，我们需要编写Java代码来创建生产者和消费者，并配置相应的属性。运行示例时，确保Kafka服务已经启动，且所有配置正确无误。 6. **日志与监控**：Kafka提供了Kafka Connect和...
kafka配置SSL(shell脚本)
04-11
kafka配置SSL的前几步骤，写成shell脚本了,方便！博客参考：https://blog.youkuaiyun.com/qq_34021712/article/details/79902479
kafka添加ssl认证
01-07
主要是生成证书: 请先安装java和openssl. 生成证书脚本ca.sh: #!/bin/bash #Step 1 keytool -keystore /var/soft/ca/server.keystore.jks -alias localhost -validity 365 -genkey #Step 2 openssl req -new -x509 -keyout ca-key -out ca-cert -days 365 keytool -keystore /var/soft/ca/server.truststore.jks -alias CARoot -import -file
kafka-producer-SSL
gwd777的专栏
05-25 308
/** * kafka生产者，向kafka发送消息 * */ public class KafkaProductMsg { public static void main(String[] args) throws Exception { Random r = new Random(); Properties environment = new Properties(); InputStream is = KafkaProductMs.
java消费kafka数据 sasl_ssl
最新发布
weixin_31230841的博客
07-26 239
Java消费Kafka数据使用SASL_SSL认证 作为一名经验丰富的开发者，我很高兴能帮助刚入行的小白理解如何在Java中使用SASL_SSL认证来消费Kafka数据。以下是实现这一功能的步骤和代码示例。 步骤概览 以下是实现Java消费Kafka数据使用SASL_SSL认证的步骤概览： 步骤 描述 1 添...
kafka ssl 版本搭建
Rao的博客
12-22 2230
文章目录kafka 搭建kafka ssl 证书搭建1. SSL 证书原理openssl 工具介绍1. 生成CA2. 生成Server证书3. 生成Client证书（用于双向认证）Keytool 工具介绍kafka 配置producer 配置参考文章 kafka 搭建 先处理好zookeeper 和 kafka，这边就不再赘述了 kafka ssl 证书搭建 依赖环境，安装 openssl 和 keytool 工具 1. SSL 证书原理 ssl 加密是基于非对称加密的加密通讯方式，它大致包含两个
在 kafka 的 broke 和 client 之间加入 SSL 双向认证
拖垃圾的专栏
01-19 4935
参考：https://kafka.apache.org/documentation/#security 单向认证 首先实现单向的认证，即，client 对 broker 的认证。就像浏览器对服务器的认证一样。 注：密钥生成过程中的密码统一为test123。 为broke生成keystore 第一步是为集群的每台机器生成密钥和证书，可以使用java的keytool来生产。我们将生成密钥
kafka SASL_SSL 及 简单的java消费者及生产者
热门推荐
xiafanli_python的博客
01-06 1万+
kafka ssl证书开启脚本 更新了ssl证书脚本，添加了python版本的证书导出 #!/bin/bash ################################# BASE_DIR=/data/kafka_2.11_auth CERT_OUTPUT_PATH="$BASE_DIR/server_cert" CLIENT_CERT_OUTPUT_PATH="$BASE_DI
kafka增加SSL认证的Producer客户端代码示例
xiaoji88326518的专栏
08-08 2963
package com.kafka.safe.ssl; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.Producer; import org.apache.kafka.clients.producer.ProducerRecord;
SpringBoot整合Kafka——Demo
lll7777773的博客
07-09 1024
kafka环境安装及整合springboot
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值