kafka2.0-入门demo_03

最新推荐文章于 2025-06-28 09:20:06 发布

原创

最新推荐文章于 2025-06-28 09:20:06 发布 · 置顶 · 1.7k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#kafka2.0

上一篇文章简单的讲了搭建kafka的环境以及如何启动。

现在来讲讲kafka的简单使用，然后使用java写个小的测试程序。

首先假设你已经启动了kafka集群，我们来创建一个topic,使用如下命令：

bin/kafka-topics.sh --create --zookeeper 192.168.1.3:2181,192.168.1.128:2181,192.168.130:2181 --replication-factor 3 --partitions 1 --topic mr-yang

192.168.1.3:2181,192.168.1.128:2181,192.168.130:2181是我的zk集群IP,mr-yang为topic名称。

然后我们使用如下命令查看topic的一些信息：

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Mr_yang_tao

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Kafka 2.2.0 Java客户端开发——消息生产者

APlus

09-07

790

快速入门 Kafka消息生产者逻辑应当具备以下步骤：配置生产者参数，创造生产者实例KafkaProducer 构建待发送的消息ProducerRecord 发送消息程序退出或者无需生产消息时关闭生产者实例KafkaProducer 示例代码： public class Producer { public static void main(String[] _args) throws...

Kafka 2.2.0 Java客户端开发——消息消费者

APlus

09-08

1813

快速入门 Kafka消息消费者逻辑应当具备以下步骤：配置消费者参数，创建KafkaConsumer实例；订阅至少一个主题；拉取消息获得ConsumerRecords，遍历ConsumerRecords获取ConsumerRecord对象，从中提取消息的内容；程序退出或者无需消费消息时关闭KafkaConsumer。 public class Consumer { public ...

参与评论您还未登录，请先登录后发表或查看评论

kafka入门demo

06-28

kafka入门demo

深入理解Confluent.Kafka: C#客户端库的源代码和测试

weixin_42465332的博客

05-29

906

Apache Kafka是一种分布式流处理平台，它被广泛用于构建实时数据管道和流应用程序。作为一种发布-订阅消息系统，Kafka能处理高吞吐量的实时数据流，并以高可靠性存储和传输数据。在本章中，我们将概述Kafka的基本概念和架构，为后续章节的深入探讨打下基础。Confluent.Kafka是Apache Kafka的一个C#客户端库，它由Confluent公司维护，提供了与Kafka集群进行交互的全面支持。

kafka入门案例

测试0901-1

03-06

342

Conumer_demo1.java内容如下：packagecom.lenovo.kafka_demo; importorg.apache.kafka.clients.consumer.ConsumerConfig; importorg.apache.kafka.clients.consumer.ConsumerRecord; importorg.apache.kafka.c...

kafka 简单demo

11-13

初学者欢迎来学习，kafka简单的一个小demo 容易上手欢迎下载

Spring-kafka入门使用Demo(超详细)---------无授权认证方式

a090300的博客

08-16

3072

Spring-kafka入门使用Demo(超详细)---无安全认证

【SpringBoot高级】SpringBoot与Kafka深度整合：从入门到企业级实战

最新发布

2401_86224057的博客

06-28

499

通过这篇全面的技术博客，我们详细探讨了SpringBoot与Kafka的集成，从基础概念到高级特性，再到实际应用场景和最佳实践。希望这篇内容能够帮助开发者构建高效、可靠的基于Kafka的消息系统，并在实际项目中取得成功。随着技术的不断发展，SpringBoot和Kafka的集成将会变得更加强大和易用，值得我们持续关注和学习。

37.Java连接Kafka

大勇若怯任卷舒

08-25

1580

37.1 实验环境 Intellij已安装且正常运行 Maven环境正常 RedHat7.2 CM和CDH版本为5.11.2 Kafka2.2.0-0.10.2 创建topic，test3有3个replication，3个partition [ec2-user@ip-172-31-22-86~]$ kafka-topics --create --zookeeper ip-172-31-22-86.ap-southeast-1.compute.internal:2181 --replication-fac

Kafka入门demo

09-01

Apache Kafka入门demo，用来理解Apache Kafka的基本原理，附带必要代码注释。基于maven的用Java api编写的Producer和Consumer；

kafka-demo

08-17

kafka-demo

Kafka入门实例

mingtianhaiyouwo的博客

07-09

1064

摘要:本文主要讲了Kafka的一个简单入门实例源码下载：https://github.com/appleappleapple/BigDataLearning kafka安装过程看这里：Kafka在Windows安装运行整个工程目录如下： 1、pom文件 [html] view plain copy project xmlns="http://ma

kafka入门例子 for java

每天积累一点，一年后你会发现，自己变化很大

08-12

5716

kafka入门java例子分布式日志消息队列

kafka安装以及入门demo

weixin_30725467的博客

09-11

101

jdk:1.6.0_2564位kafka:2.9.2-0.8.2.1 kafka 官方下载地址http://apache.fayea.com/kafka/0.8.2.1/kafka_2.9.2-0.8.2.1.tgz tar-zxvfkafka_2.9.2-0.8.2.1.tgz-C/usr/local/&&mvkafka_2.9.2-0.8.2.1...

十分详细的Kafka入门实战Demo！

火山九日的博客

06-04

968

目录前言Java客户端访问kafkaSpring Boot 整合 Kafka 前言 Kafka的安装在前面有讲过, 具体可以参考下这两篇： Docker部署Kafka入门实战. 最简单的Kafka集群搭建方式. Java客户端访问kafka 首先引入maven依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId

[root@localhost apps]# cat kafka1.yml version: "3.6" services: kafka1: container_name: kafka1 image: 'bitnami/kafka:3.6.1' mem_limit: 4g ulimits: nproc: 65535 nofile: 65535 user: root ports: - '19092:9092' - '19093:9093' environment: - KAFKA_CFG_NODE_ID=1 - KAFKA_ENABLE_KRAFT=yes - KAFKA_CFG_PROCESS_ROLES=broker,controller - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kd.suufood.com:19092 - KAFKA_BROKER_ID=1 - KAFKA_KRAFT_CLUSTER_ID=iZWRiSqjZAlYwlKEqHFQWI - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@172.23.0.11:9093,2@172.23.0.12:9093,3@172.23.0.13:9093 - ALLOW_PLAINTEXT_LISTENER=yes - KAFKA_HEAP_OPTS=-Xmx2G -Xms1G - KAFKA_JVM_PERFORMANCE_OPTS="-Xss256k" volumes: - /data/new_public/kafka/broker01:/bitnami/kafka:rw networks: netkafka: ipv4_address: 172.23.0.11 kafka2: container_name: kafka2 image: 'bitnami/kafka:3.6.1' user: root ports: - '29092:9092' - '29093:9093' environment: - KAFKA_CFG_NODE_ID=2 - KAFKA_ENABLE_KRAFT=yes - KAFKA_CFG_PROCESS_ROLES=broker,controller - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kd.suufood.com:29092 - KAFKA_BROKER_ID=2 - KAFKA_KRAFT_CLUSTER_ID=iZWRiSqjZAlYwlKEqHFQWI - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@172.23.0.11:9093,2@172.23.0.12:9093,3@172.23.0.13:9093 - ALLOW_PLAINTEXT_LISTENER=yes - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M volumes: - /data/new_public/kafka/broker02:/bitnami/kafka:rw networks: netkafka: ipv4_address: 172.23.0.12 kafka3: container_name: kafka3 image: 'bitnami/kafka:3.6.1' user: root ports: - '59092:9092' - '59093:9093' environment: - KAFKA_CFG_NODE_ID=3 - KAFKA_ENABLE_KRAFT=yes - KAFKA_CFG_PROCESS_ROLES=broker,controller - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kd.suufood.com:39092 - KAFKA_BROKER_ID=3 - KAFKA_KRAFT_CLUSTER_ID=iZWRiSqjZAlYwlKEqHFQWI - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@172.23.0.11:9093,2@172.23.0.12:9093,3@172.23.0.13:9093 - ALLOW_PLAINTEXT_LISTENER=yes - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M volumes: - /data/new_public/kafka/broker03:/bitnami/kafka:rw networks: netkafka: ipv4_address: 172.23.0.13 networks: netkafka: driver: bridge ipam: config: - subnet: 172.23.0.0/25

03-19

<think>嗯，用户给了一个Docker Compose文件，想要我帮忙解释或者分析一下。首先，我需要仔细看看这个文件的结构和内容。看起来这是一个配置了三个Kafka节点的集群，使用KRaft模式运行，也就是去除了ZooKeeper的依赖。用户可能是在搭建Kafka集群时遇到了问题，或者想要确认配置是否正确。首先，文件里用了Docker Compose版本3.6，定义了一个服务，包含kafka1、kafka2、kafka3三个服务。每个服务都用了bitnami/kafka:3.6.1镜像，这应该是官方的一个镜像版本。接下来，每个容器都有不同的端口映射，比如kafka1的19092映射到宿主机的9092，这可能是因为在同一台机器上运行多个实例，避免端口冲突。然后看环境变量部分，这里有很多Kafka的配置参数。比如KAFKA_ENABLE_KRAFT=yes，说明启用了KRaft模式。KAFKA_CFG_PROCESS_ROLES设置了broker和controller，这意味着每个节点同时充当broker和controller角色，这是KRaft架构的特点。不过，注意到kafka1的内存限制是4g，而其他两个是较小的内存，这可能影响性能，用户是否知道这点？再看网络配置，每个容器都有一个静态的IPv4地址，属于同一个子网netkafka。这有助于节点之间的通信。但是检查KAFKA_CFG_CONTROLLER_QUORUM_VOTERS，里面列出了三个节点的IP和端口，都是9093。看起来是正确的，但需要确认这些IP是否真的能互通，以及端口是否开放。另外，每个服务的advertised.listeners配置了不同的外部端口，比如19092、29092、39092，对应的域名是kd.suufood.com。这里可能需要确认该域名是否解析到宿主机的正确IP，否则客户端可能无法连接。还有，volumes部分挂载了宿主机的目录到容器内，确保数据持久化。路径是否正确？权限是否足够，因为容器以root用户运行，可能需要检查宿主机的目录权限。用户可能的问题包括：集群是否配置正确，节点能否正常通信，客户端连接是否成功，或者是否有配置错误导致服务启动失败。比如，KRaft模式下controller的配置是否正确，quorum voters的IP是否正确，端口是否开放，以及内存分配是否合理。需要指出可能的错误点，比如kafka3的端口映射是59092和59093，但advertised.listeners配置的是39092，这会导致客户端连接失败，因为宿主机端口59092映射到容器9092，但广告地址是39092，端口不匹配。用户可能需要将advertised.listeners的端口改为59092，或者调整宿主机端口映射，确保内外端口一致。另外，检查KAFKA_BROKER_ID是否应该和NODE_ID一致？在KRaft模式下，NODE_ID应该唯一，而BROKER_ID可能已经被弃用，或者需要保持一致。需要确认当前版本的Kafka是否还使用BROKER_ID，或者是否由NODE_ID代替。如果配置了BROKER_ID，可能会引起混淆或错误。最后，建议用户检查日志，确认每个节点是否成功加入集群，网络是否通畅，以及客户端配置是否正确使用广告地址和端口。</think>以下是对您提供的Kafka集群Docker Compose文件的逐层解析： --- ### 一、基础配置分析 1. **版本声明** `version: "3.6"` 表示使用Docker Compose v3.6语法，支持较新的配置特性 2. **网络架构** - 自定义桥接网络`netkafka`，子网`172.23.0.0/25` - 每个Kafka节点分配**静态IP**（如`172.23.0.11`），确保固定通信地址 --- ### 二、核心服务配置（以kafka1为例） #### 1. 容器基础参数 ```yaml container_name: kafka1 image: 'bitnami/kafka:3.6.1' # 使用KRaft模式的官方镜像 mem_limit: 4g # 容器内存限制（注意kafka2/3配置不同） ports: - '19092:9092' # 客户端通信端口映射 - '19093:9093' # Controller通信端口 volumes: - /data/.../broker01:/bitnami/kafka:rw # 数据持久化目录 ``` #### 2. KRaft模式关键配置 | 环境变量 | 作用说明 | |---------|---------| | `KAFKA_ENABLE_KRAFT=yes` | 启用KRaft模式（去ZooKeeper化） | | `KAFKA_CFG_PROCESS_ROLES=broker,controller` | 节点同时承担Broker和Controller角色 | | `KAFKA_CFG_CONTROLLER_QUORUM_VOTERS` | 集群控制器节点列表（需与所有节点一致） | #### 3. 监听器配置解析 ```bash KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kd.suufood.com:19092 ``` - `PLAINTEXT`：客户端通信协议 - `CONTROLLER`：集群内部控制器通信 - **注意**：`advertised.listeners`中的端口需与宿主机映射端口一致（如`19092`对应`9092`） --- ### 三、潜在问题排查点 1. **端口映射一致性** kafka3配置中： ```yaml ports: - '59092:9092' # 宿主机59092 → 容器9092 environment: - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kd.suufood.com:39092 ``` **矛盾点**：广告地址端口`39092`与映射端口`59092`不一致，客户端将无法连接 2. **内存分配差异** - kafka1分配`4G`内存，kafka2/3仅`512M`，可能影响集群稳定性 - 建议通过`KAFKA_HEAP_OPTS`统一调整堆内存 3. **网络连通性验证** 需确保： ```bash # 测试节点间通信 docker exec kafka1 nc -zv 172.23.0.12 9093 docker exec kafka2 nc -zv 172.23.0.13 9093 ``` --- ### 四、操作建议 1. **修改kafka3广告地址** ```yaml KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kd.suufood.com:59092 ``` 2. **日志检查命令** ```bash docker logs -f kafka1 | grep -i 'Registered Broker' ``` 3. **集群状态验证** ```bash # 进入任意容器执行 kafka-metadata-shell.sh \ --snapshot /bitnami/kafka/data/__cluster_metadata-0/quorum/00000000000000000000.log ``` 通过以上配置调整和验证步骤，可确保KRaft模式集群正常运作。建议使用`docker-compose up -d`启动服务后，持续监控节点日志确认选举状态。