docker部署kafka后，使用命令操作

最新推荐文章于 2025-02-06 09:35:36 发布
最新推荐文章于 2025-02-06 09:35:36 发布
阅读量1.4k 收藏 4
点赞数 2
文章标签： kafka docker 容器
原文链接：https://blog.youkuaiyun.com/weixin_46897235/article/details/112797266
版权

首先进入docker容易内部，docker ps查看正在运行的容器
在这里插入图片描述
然后通过docker exec -it 容器id bash命令进入容器内部
在这里插入图片描述
对topic进行增删改查
进入kafka安装文件夹 cd /opt/kafka/bin
1、增加topic

kafka-topics.sh --create --topic example --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1

--zookeeper 表示ZK地址，可以传递多个，用逗号分隔 IP:PORT,IP:PORT,IP:PORT/kafka
--replication-factor 表示副本数量，这里的数量是包含Leader副本和Follower副本，副本数量不能超过代理数量
--partitions 表示主题的分区数量，必须传递该参数。Kafka的生产者和消费者采用多线程并行对主题的消息进行处理，每个线程处理一个分区，分区越多吞吐量就会越大，但是分区越多也意味着需要打开更多的文件句柄数量，这样也会带来一些开销。

2、查看topic

kafka-topics.sh --zookeeper zookeeper:2181 --list

3、删除topic

kafka-topics.sh --zookeeper zookeeper:2181 --delete --topic example

3-1、彻底删除topic

# 进入zookeeper容器
docker exec -it 容器名 /bin/sh

# 进入zookeeper客户端，不同的zookeeper版本进入方式可能不同
./bin/zkCli.sh

# 查看topics数据
ls /brokers/topics

# 找到要删除的topic，执行命令：rmr /brokers/topics/【topic name】即可，此时topic被彻底删除。
rmr /brokers/topics/topic名称

4、获取topic详情

kafka-topics.sh --zookeeper zookeeper:2181 --describe --topic example

命令行发送、消费消息
1、生产者发送消息

kafka-console-producer.sh --broker-list  localhost:9092 --topic example

在这里插入图片描述
2、消费者消费消息
在这里插入图片描述
启动消费者和生产者后，生产者发送消息，消费者就会接收到

ol_m_lo
关注
Docker部署Kafka
weixin_62799021的博客
10-28 4511
为实现备份功能，保证某个节点发生故障时，该节点上的分区（Partition）数据不会丢失，且Kafka集群仍然能够继续工作。Kafka是一个开源的时间流处理平台，由Scala和Java编写，持久化本质是分布式事务日志架构的大规模发布订阅。ADVERTISED_LISTENERS必须设置外部连接Kafka broker的地址，本机开发设置为。Leader副本发生故障时，某个Follower副本会成为新的Leader副本，设置副本数量不能为0，也不能大于节点个数，否则不能创建Topic。
docker部署kafka实战
weixin_48878440的博客
05-21 629
部署kafka kafka实战 docker部署kafka docker部署zookeeper
docker安装kafka指令
03-14
docker 安装kafka指令（映射挂载宿主机）
docker kafka命令行操作
fenghoumilin的博客
11-12 1053
docker中kafka的操作 1.进入kafka命令文件夹 cd opt/ cd kafka_2.11 #kafka_版本号 cd bin 2.查看kafka下面的所有topic kafka-topics.sh --zookeeper node1:2181 --list 3.发送消息 kafka-console-producer.sh --bootstrap-server node:9092 --topic topicName 4.消费消息 #一般用这种方式等待消息发送 kafka-console-
docker命令操作kafka容器
精灵鼠小强的博客
10-12 3325
第一次在本机虚拟机上使用docker安装了kafka，这里简单的总结一下如何通过docker命令进入到kafka容器中，并且使用命令对kafka容器内部的topic以及消息进行操作，说明一下都是非常基础的命令，主要是topic的增删改查命令、以及简单的生产消息、消费消息的命令。 进入到kafka容器内部 docker exec -it kafka bash 进入到kafka的安装目录，查看到kafka相关的命令 bash-5.1# cd /opt/kafka/bin/ bash-5.1# ls conne
【Docker】手把手教你使用Docker安装kafka【详细教程】
热门推荐
m0_64210833的博客
11-03 3万+
手把手教你使用Docker安装kafka
Docker安装kafka
qq_35909525的博客
05-10 2364
Docker安装kafka前言一、拉取 zookeeper镜像二、拉取KAKFA三、启动zookeeper、kafka四、测试总结 前言 之前只知道linux使用docker安装各种工具，win版也有Docker而且非常好用。 安装win版docker，docker安装 一、拉取 zookeeper镜像 到docker hub寻找镜像 使用最新版本就用1，如果使用历史版本，点击2 这里使用最新版本 复制以下命令，打开cmd命令行 docker pull wurstmeister/zookeeper
Docker部署Kafka以及Spring Kafka实现
01-11
这篇文章主要介绍了Docker部署Kafka以及Spring Kafka实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 从https://hub.docker.com/查找kafka 第三个活跃并...
基于docker部署kafka-3.8.0版本，并开启SASL认证模式
m0_54138989的博客
02-06 1186
（2）修改 kafka-console-producer.sh 脚本 在脚本最上方增加如下代码。（2）修改 kafka-console-consumer.sh 脚本 在脚本最上方增加如下代码。（1）https://kafka.apache.org/downloads 下载如下图版本。（1）修改 kafka-server-start.sh 脚本 在脚本最上方增加如下代码。（3）修改server.properties 文件，增加下面信息，内容如下图。为topic增加SASL认证信息，指定认证机制为SASL。
docker的kafka镜像
10-25
在部署和运行Docker的Kafka镜像之前，用户应该熟悉Docker容器的基本操作，包括pull镜像、run容器、stop容器、rm容器等。此外，对于Kafka的配置和管理也需要有一定的了解，比如如何配置Kafka的Topic、如何监控Kafka...
docker下kafka安装及简单操作命令
jinghuay的博客
11-28 549
1、下载镜像 这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 在命令中运行docker images验证两个镜像已经安装完毕 docker pull wurstmeister/kafka:2.11-0.11.0.3 2.启动 启动zookeeper容器 docker run -d --name zookeeper -
docker安装kafka【手把手系列】
qq_58353992的博客
03-19 7288
Kafka是由Apache基金会开发的分布式流处理平台，采用发布-订阅模式，支持高吞吐量、低延迟的数据传输。主要用于处理实时数据管道、数据存储和数据分析等大数据应用场景。Kafka采用高效的数据压缩算法，可以在集群中存储大量的数据，并通过分区机制来实现数据的高可靠性和可扩展性。数据管道：在数据采集和分发过程中构建可扩展的流式数据管道，用于实时数据处理和分析。例如，数据收集、日志聚合、网络追踪、用户活动跟踪等。
kafka 相关相关命令行操作
明之晓的博客
11-01 571
kafka 相关相关命令行操作
docker安装kafka和简单命令使用
小东的博客
11-10 412
安装zookeeper docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper 安装kafka docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.255.130:2181 -e KAFKA_ADVERTISED_L.
docker 部署kafka
weixin_57632548的博客
12-21 4562
随笔记录。
Docker环境搭建kafka和常用命令
u010471571的博客
08-12 389
Kafka搭建和常用命令
【Docker中Kafka+Zookeeper基本命令使用】
Coder_ljw的博客
10-20 1318
【Docker中Kafka+Zookeeper基本命令使用、Topic的增删改查、生产者发送消息、消费者消费消息】知识回顾:上次我们学习了，有问题的可以先看一下上节课的文章，再进行接下来的学习，一点都不耽误呦！当你看了上节课的文章后，这节课我们来学习一下【Docker中Kafka+Zookeeper基本命令使用】，你准备好了吗？要发车了，出发啦！！！
docker 常用命令
小灰~的博客
06-08 221
1.安装相关命令 1.查看内核版本 uname -r 2.更新yum yum -y update 3.安装docker（以下为社区版本） yum install docker-ce 4.指定docker版本安装（指定社区版本） yum install docker-ce-18.031.ce 5.安装dokcer不互动 yum -y install docker-ce...
kafka常用命令
m0_48638643的博客
07-31 2050
本篇文章介绍了kafka的一些通用命令
docker 部署 kafka
最新发布
03-24
<think>好的，我现在需要帮助用户了解如何使用Docker部署Kafka。首先，用户提到了参考中的两个引用，都是关于Docker部署Kafka的内容，我需要结合这些信息来构建答案。 首先，我应该先回忆一下Docker部署Kafka的基本步骤。通常，Kafka依赖Zookeeper，所以需要同时部署两者。用户提供的引用里提到了使用docker-compose.yml配置文件，这可能是一个关键点。根据引用1，使用docker-compose可以创建并启动Zookeeper和Kafka的容器，这应该是标准做法。 接下来，我需要确保步骤正确。首先，创建Docker网络，这样容器之间可以通信。引用2提到需要创建Docker网络，这可能是在docker-compose中定义的网络，或者需要预先创建。不过通常docker-compose会自动处理网络，但有时候用户可能需要自定义。可能需要检查这一点。 然后是编写docker-compose.yml文件。这里需要确定正确的镜像版本。比如，使用confluentinc的镜像还是wurstmeister的镜像？用户提供的引用没有明确说明，但常见的教程中常用wurstmeister/kafka和zookeeper。不过引用1中的例子可能使用的是confluentinc的镜像，或者其他的。需要确认。不过为了通用性，可能使用较常见的配置。 另外，用户可能希望示例配置是可直接运行的，所以需要确保docker-compose.yml的语法正确。比如，定义服务、端口映射、环境变量等。Kafka需要配置环境变量如KAFKA_ADVERTISED_LISTENERS，这样才能被外部访问，这点很重要，否则客户端可能无法连接。 然后，启动容器的命令是docker-compose up -d，这应该没问题。测试部分可能需要使用kafka的命令行工具来创建主题、生产者和消费者，或者使用Python客户端。用户引用的参考2提到了Python使用Kafka的基础用法，所以可能需要在回答中包含Python的示例代码，但用户的问题主要是部署，所以可能放在相关问题里。 另外，用户可能遇到的问题包括网络配置不正确、端口未暴露、环境变量设置错误等，是否需要给出常见问题的解决方法？不过用户当前的问题主要是部署教程，所以可能先专注于步骤，然后在相关问题中提及。 还要注意，引用中的例子可能使用了特定的配置，比如Zookeeper和Kafka的端口映射，比如2181和9092，这些是默认端口，需要确保在docker-compose.yml中正确映射。同时，KAFKA_ADVERTISED_LISTENERS需要设置为宿主机的IP或者Docker主机名，否则外部客户端无法连接。这里可能需要提醒用户根据实际情况修改。 总结步骤应该是： 1. 安装Docker和Docker Compose。 2. 创建docker-compose.yml文件，定义Zookeeper和Kafka服务。 3. 启动容器。 4. 测试Kafka是否正常运行。 在测试部分，可以建议使用kafka命令行工具进入容器执行命令，或者使用Python客户端进行测试。比如，使用kafka-python库创建生产者和消费者，如引用2提到的。 最后，生成相关问题，可能需要包括优化配置、常见错误、集群部署、监控、与Python集成等。 需要确保所有的命令和配置正确，语法正确，比如在docker-compose.yml中的缩进是否正确，环境变量是否正确设置。同时，提醒用户如果遇到问题，检查端口是否被占用，防火墙设置，以及advertised.listeners的配置是否正确。</think>以下是如何使用Docker部署Kafka的详细教程及配置示例： ### 一、Docker部署Kafka步骤 #### 1. 创建Docker网络（可选但推荐） ```bash docker network create kafka-net ``` #### 2. 编写`docker-compose.yml`文件 ```yaml version: '3' services: zookeeper: image: bitnami/zookeeper:latest container_name: zookeeper ports: - "2181:2181" networks: - kafka-net environment: ALLOW_ANONYMOUS_LOGIN: "yes" kafka: image: bitnami/kafka:latest container_name: kafka ports: - "9092:9092" networks: - kafka-net environment: KAFKA_CFG_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 depends_on: - zookeeper networks: kafka-net: driver: bridge ``` #### 3. 启动服务 ```bash docker-compose up -d ``` #### 4. 验证服务状态 ```bash docker ps -a | grep -E "kafka|zookeeper" ``` ### 二、基础功能测试 #### 1. 创建测试主题 ```bash docker exec -it kafka /opt/bitnami/kafka/bin/kafka-topics.sh \ --create --topic test-topic \ --bootstrap-server localhost:9092 \ --partitions 1 --replication-factor 1 ``` #### 2. 启动生产者 ```bash docker exec -it kafka /opt/bitnami/kafka/bin/kafka-console-producer.sh \ --topic test-topic \ --bootstrap-server localhost:9092 ``` #### 3. 启动消费者 ```bash docker exec -it kafka /opt/bitnami/kafka/bin/kafka-console-consumer.sh \ --topic test-topic \ --bootstrap-server localhost:9092 \ --from-beginning ``` ### 三、Python客户端示例 ```python from kafka import KafkaProducer, KafkaConsumer # 生产者 producer = KafkaProducer(bootstrap_servers='localhost:9092') producer.send('test-topic', b'Hello Kafka') producer.flush() # 消费者 consumer = KafkaConsumer('test-topic', bootstrap_servers='localhost:9092') for msg in consumer: print(f"Received: {msg.value.decode('utf-8')}") ``` ### 配置说明 1. `KAFKA_CFG_ADVERTISED_LISTENERS`需设置为宿主机的IP或域名，若在远程服务器部署应改为服务器公网IP 2. 持久化数据可添加卷映射： ```yaml volumes: - ./kafka_data:/bitnami/kafka ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值