docker部署kafka

原创 已于 2023-05-23 11:30:36 修改 · 789 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #docker #kafka

于 2022-07-08 11:01:03 首次发布
该博客详细介绍了如何使用Docker运行Kafka服务，包括设置网络为宿主机模式，确保服务始终运行，配置JMX远程访问，挂载数据和日志目录，并指定服务器配置文件。使用的是wurstmeister/kafka镜像，并启动Kafka服务器。

docker run -d --net=host --restart always --name=kafka-9092 \
-e "TZ=Asia/Shanghai" \
-e KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false  -Djava.rmi.server.hostname=127.0.0.1 -Dcom.sun.management.jmxremote.rmi.port=9998" \
-e JMX_PORT=9999 \
-v /sdyy_data/app/kafka/data:/opt/kafka/data \
-v /sdyy_data/app/kafka/logs:/opt/kafka/logs \
-v /sdyy_data/app/kafka/config/server.properties:/opt/kafka/config/server.properties wurstmeister/kafka:latest /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties

Docker部署Kafka
CvhShell的博客
09-20 914
Kafka官方提供了官方镜像，我们可以使用它来快速搭建Kafka环境。通过以上步骤，我们成功地使用Docker搭建了Kafka环境，并进行了消息的发布和订阅。上述命令中，我们指定了容器的名称为"kafka"，并将宿主机的9092端口映射到容器的9092端口。命令在运行中的"kafka"容器中执行了"kafka-topics"命令来创建主题。如果看到名为"kafka"的容器正在运行，则表示Kafka环境已成功搭建。命令消费了名为"mytopic"的主题中的消息，并通过。指定了Kafka监听的地址和端口，
docker部署kafka&外网访问通过python
仅进行技术交流，不代写代码及其他
05-17 1249
项目开发需要使用kafka作为消息中间件，并使用python开发消费者端接收消息，参考：https://zhuanlan.zhihu.com/p/279784873，这里记录下整个配置流程，并可以外网访问。zookeeper_ip 是 容器zookeeper 的ip地址，可用通过查看docker的network确定ip，根据name找到zookeeper 的ip地址。在不同终端里先启动消费者，然后启动生产者。bridge的network id。查看一下kafka版本。
Docker搭建Kafka教程（python使用kafka基础用法，生产消费）
m0_56659620的博客
12-21 2730
图解 kafka 架构与工作原理 - 知乎 (zhihu.com)
# Kafka_深入探秘者（10）：kafka 监控
段子手168的博客
06-28 4444
# Kafka_深入探秘者（10）：kafka 监控 第10章 01-JMX 第10章 02-编程获取指标 第10章 03-监控指标了解
搭建prometheus的系统资源和kafka监控
doubleyao53的博客
11-10 915
文章目录什么是Prometheus?Prometheus的特点架构图基本原理服务过程本教程内容简介一、prometheus安装二、exporter安装使用三、grafana的安装使用 什么是Prometheus? Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本。 2016年由Google发起Linux基金会旗下的原生云基金会(Cloud Native Computing F
Docker kafka
scugxl的专栏
06-16 215
工作中经常用到kafka，为了方便需要一个docker版的kafka， 有人问为啥不是原生的？ 原生的每次要自己手动启动zk和kafka（新版只需要kafka）。 那为啥不用k8s的呢？k8s本身比较zhan'y
kafka docker
weixin_34304013的博客
12-06 498
基本概念介绍 Broker 可以简单理解为一个 Kafka 节点, 多个 Broker 节点构成整个 Kafka 集群;Topic 某种类型的消息的合集;Partition 它是 Topic 在物理上的分组, 多个 Partition 会被分散地存储在不同的 Kafka 节点上; 单个 Partition 的消息是保证有序的, 但整个 T...
精选资源
Docker部署Kafka以及Spring Kafka实现
01-11
这篇文章主要介绍了Docker部署Kafka以及Spring Kafka实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 从https://hub.docker.com/查找kafka 第三个活跃并...
docker部署kafka实战
weixin_48878440的博客
05-21 753
部署kafka kafka实战 docker部署kafka docker部署zookeeper
docker 部署 kafka 及 ui 搭建
YJKJN的博客
01-13 812
Kafka 的架构包括多个组件，如生 产者、消费者、Broker (Kaika 集群中的服务器)、Topic (消息的分类方式)、Parition( 分 区 ) 、Replica(副本)等。Fexus 云服务器 X 实例是新一代面向中小企业和开发者打的柔性算力云服务器，可智能感知业务负载，适用于电商直播、企业建站、开发 测试环境、游戏服务器、音视频服务等中低负载场景。原文链接：https:/blog.csdhnet/ZLY 2004/articde/detals/14217085。
Docker搭建kafka
weixin_44772835的博客
12-03 538
环境安装docker安装yum updateyum install docker# 启动systemctl start docker# 加入开机启动systemctl enable docker# 检查是否启动docker version# 测试一下docker run hello-worlddocker-compose安...
使用docker搭建kafka
sinat_39393179的博客
03-25 1039
1、下载基础镜像 由于kafaka需要zookeeper管理,因此需要先安装zookeeper的镜像 $ docker pull wurstmeister/zookeeper $ docker pull wurstmeister/kafka 2、启动zookeeper容器 $ docker run -d --name zookeeper -p 2181:2181 -t wurstmeiste...
Docker 安装 kafka （bitnami/kafka:4.0）
m0_51431003的博客
04-27 4583
这条命令启动了一个基于 Bitnami 提供的 Kafka 4.0 镜像的容器，并在 KRaft 模式（即不依赖 Zookeeper）下同时担任 controller 和 broker。它设置了时区、节点 ID、监听器及广告地址，指定数据和日志存储目录，限制了文件句柄数、内存和 CPU 使用，并在主机上映射了对应端口，保证容器重启策略为“始终重启”。命令的整体概览，然后逐行详解各个参数和环境变量的作用。
docker中的kafka容器开启JMX远程监控
集北卡卡罗特的博客
09-15 5187
项目中需要远程监控kafka容器中的消息输入情况，使用了kafka的JMX来实现，由于kafka作为docker容器运行，连接jmx遇到了重重困难，经过一下配置后终于成功。 ①修改docker-compose.yml文件： 添加图片中的参数，把9999端口暴露出来并映射，配置JMX_PORT环境变量，修改完需要docker-compose up重新创建kakfa容器使配置生效。 ②进入容器，编辑$KAFKA_HOME/bin/kafka-run-class.sh脚本： 在脚本第一行添加JMX_PORT
【 Docker系列】 Docker部署kafka
最新发布
优快云站内信: https://i.youkuaiyun.com/#/msg/chat/qyj19920704
05-28 1万+
在于 Confluent 的 Zookeeper 镜像经过了特定的优化和配置，能够与 Confluent 平台的其他组件（如 Kafka、Schema Registry 等）无缝协作。直接使用 Apache 官方的 Zookeeper 镜像虽然可以工作，但需要进行额外的配置才能与 Confluent Kafka 配合使用。而 Confluent 平台作为 Kafka 的企业级发行版，提供了更多增强功能和工具。如果命令返回了详细的镜像信息，说明该镜像存在且可访问。下面是一个经过验证的。
docker搭建kafka
tjq980303的博客
11-29 1058
分布式爬虫框架的部分功能已经开发的差不多了,现在要开始考虑接入kafka了.   kafka依赖于zookeeper, 所以同时需要安装zookeeper       dockerfile-kafka如下    FROM java:8u111-jdk MAINTAINER stcoder RUN apt-get update RUN apt-get -y install wget
docker 部署 kafka
03-24
<think>好的，我现在需要帮助用户了解如何使用Docker部署Kafka。首先，用户提到了参考中的两个引用，都是关于Docker部署Kafka的内容，我需要结合这些信息来构建答案。 首先，我应该先回忆一下Docker部署Kafka的基本步骤。通常，Kafka依赖Zookeeper，所以需要同时部署两者。用户提供的引用里提到了使用docker-compose.yml配置文件，这可能是一个关键点。根据引用1，使用docker-compose可以创建并启动Zookeeper和Kafka的容器，这应该是标准做法。 接下来，我需要确保步骤正确。首先，创建Docker网络，这样容器之间可以通信。引用2提到需要创建Docker网络，这可能是在docker-compose中定义的网络，或者需要预先创建。不过通常docker-compose会自动处理网络，但有时候用户可能需要自定义。可能需要检查这一点。 然后是编写docker-compose.yml文件。这里需要确定正确的镜像版本。比如，使用confluentinc的镜像还是wurstmeister的镜像？用户提供的引用没有明确说明，但常见的教程中常用wurstmeister/kafka和zookeeper。不过引用1中的例子可能使用的是confluentinc的镜像，或者其他的。需要确认。不过为了通用性，可能使用较常见的配置。 另外，用户可能希望示例配置是可直接运行的，所以需要确保docker-compose.yml的语法正确。比如，定义服务、端口映射、环境变量等。Kafka需要配置环境变量如KAFKA_ADVERTISED_LISTENERS，这样才能被外部访问，这点很重要，否则客户端可能无法连接。 然后，启动容器的命令是docker-compose up -d，这应该没问题。测试部分可能需要使用kafka的命令行工具来创建主题、生产者和消费者，或者使用Python客户端。用户引用的参考2提到了Python使用Kafka的基础用法，所以可能需要在回答中包含Python的示例代码，但用户的问题主要是部署，所以可能放在相关问题里。 另外，用户可能遇到的问题包括网络配置不正确、端口未暴露、环境变量设置错误等，是否需要给出常见问题的解决方法？不过用户当前的问题主要是部署教程，所以可能先专注于步骤，然后在相关问题中提及。 还要注意，引用中的例子可能使用了特定的配置，比如Zookeeper和Kafka的端口映射，比如2181和9092，这些是默认端口，需要确保在docker-compose.yml中正确映射。同时，KAFKA_ADVERTISED_LISTENERS需要设置为宿主机的IP或者Docker主机名，否则外部客户端无法连接。这里可能需要提醒用户根据实际情况修改。 总结步骤应该是： 1. 安装Docker和Docker Compose。 2. 创建docker-compose.yml文件，定义Zookeeper和Kafka服务。 3. 启动容器。 4. 测试Kafka是否正常运行。 在测试部分，可以建议使用kafka命令行工具进入容器执行命令，或者使用Python客户端进行测试。比如，使用kafka-python库创建生产者和消费者，如引用2提到的。 最后，生成相关问题，可能需要包括优化配置、常见错误、集群部署、监控、与Python集成等。 需要确保所有的命令和配置正确，语法正确，比如在docker-compose.yml中的缩进是否正确，环境变量是否正确设置。同时，提醒用户如果遇到问题，检查端口是否被占用，防火墙设置，以及advertised.listeners的配置是否正确。</think>以下是如何使用Docker部署Kafka的详细教程及配置示例： ### 一、Docker部署Kafka步骤 #### 1. 创建Docker网络（可选但推荐） ```bash docker network create kafka-net ``` #### 2. 编写`docker-compose.yml`文件 ```yaml version: '3' services: zookeeper: image: bitnami/zookeeper:latest container_name: zookeeper ports: - "2181:2181" networks: - kafka-net environment: ALLOW_ANONYMOUS_LOGIN: "yes" kafka: image: bitnami/kafka:latest container_name: kafka ports: - "9092:9092" networks: - kafka-net environment: KAFKA_CFG_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 depends_on: - zookeeper networks: kafka-net: driver: bridge ``` #### 3. 启动服务 ```bash docker-compose up -d ``` #### 4. 验证服务状态 ```bash docker ps -a | grep -E "kafka|zookeeper" ``` ### 二、基础功能测试 #### 1. 创建测试主题 ```bash docker exec -it kafka /opt/bitnami/kafka/bin/kafka-topics.sh \ --create --topic test-topic \ --bootstrap-server localhost:9092 \ --partitions 1 --replication-factor 1 ``` #### 2. 启动生产者 ```bash docker exec -it kafka /opt/bitnami/kafka/bin/kafka-console-producer.sh \ --topic test-topic \ --bootstrap-server localhost:9092 ``` #### 3. 启动消费者 ```bash docker exec -it kafka /opt/bitnami/kafka/bin/kafka-console-consumer.sh \ --topic test-topic \ --bootstrap-server localhost:9092 \ --from-beginning ``` ### 三、Python客户端示例 ```python from kafka import KafkaProducer, KafkaConsumer # 生产者 producer = KafkaProducer(bootstrap_servers='localhost:9092') producer.send('test-topic', b'Hello Kafka') producer.flush() # 消费者 consumer = KafkaConsumer('test-topic', bootstrap_servers='localhost:9092') for msg in consumer: print(f"Received: {msg.value.decode('utf-8')}") ``` ### 配置说明 1. `KAFKA_CFG_ADVERTISED_LISTENERS`需设置为宿主机的IP或域名，若在远程服务器部署应改为服务器公网IP 2. 持久化数据可添加卷映射： ```yaml volumes: - ./kafka_data:/bitnami/kafka ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值