Golang kafka build by docker-compose

Rocky Linux 8 安装 Docker Compose v2 的正确姿势 Docker Compose 是容器编排的核心工具,其原理是通过 CLI 插件机制将 `docker compose` 命令集成到 Docker 主命令中,实现与 Docker Daemon 的原生 API 协同。相比旧版独立 Python 实现的 `docker-compose`,新版 `docker compose`(v2+)具备更高性能、更强安全性和对 Compose Spec v1.4+ 的完整支持,技术价值体现在 profiles、healthcheck、资源限制等生产级特性落地。典型应用场景包括 阅读详情
  • 使用docker-compose拉起kafka,docker-compose.yaml:
version: '3.2'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    container_name: zookeeper
    ports:
      - "2181:2181"
    restart: always
  kafka:
    image: wurstmeister/kafka
    container_name: kafka
    links: 
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://127.0.0.1:9092
      - KAFKA_LISTENERS=PLAINTEXT://:9092
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    restart: always
    depends_on: 
      - zookeeper
  kafka-manager:
    image: sheepkiller/kafka-manager:latest
    ports:
      - "9000:9000"
    links:
      - zookeeper
      - kafka
    environment:
      ZK_HOSTS: zookeeper:2181
      APPLICATION_SECRET: letmein
      KM_ARGS: -Djava.net.preferIPv4Stack=true
    depends_on: 
      - kafka
      - zookeeper
  • 启动kafka服务:在docker-compose.yaml文件统计目录:docker-compose up (不想看日志的: docker-compose up -d)

  • 使用 go mod init my_produser 初始化一个项目, main.go:

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"time"

	"github.com/Shopify/sarama"
)

func main() {
	startProduce()
}

var (
	producer sarama.SyncProducer
	brokers  = []string{"127.0.0.1:9092"}
	topic    = "test_topic_1"
)

func init() {
	config := sarama.NewConfig()
	config.Producer.RequiredAcks = sarama.WaitForLocal
	config.Producer.Retry.Max = 5
	config.Producer.Return.Successes = true
	brokers := brokers
	var err error
	producer, err = sarama.NewSyncProducer(brokers, config)
	if err != nil {
		fmt.Printf("init producer failed -> %v \n", err)
		panic(err)
	} else {
		fmt.Println("producer init success")
	}
}

func produceMsg(msg string) {
	msgX := &sarama.ProducerMessage{
		Topic: topic,
		Value: sarama.StringEncoder(msg),
	}
	fmt.Printf("SendMsg -> %v\n", dumpString(msgX))

	partition, offset, err := producer.SendMessage(msgX)
	if err != nil {
		fmt.Printf("send msg error:%s \n", err)
	} else {
		fmt.Printf("msg send success, message is stored in topic(%s)/partition(%d)/offset(%d)\n", topic, partition, offset)
	}
}

func startProduce() {
	tick := time.Tick(2 * time.Second)
	for {
		time.Sleep(5 * time.Second)
		select {
		case <-tick:
			t := time.Now().Unix() * 1000
			msg := fmt.Sprintf("{\"timestamp\":%d}--cass0", t)
			produceMsg(msg)
		}
	}
}

//解析为json字符串
func dumpString(v interface{}) (str string) {

	bs, err := json.Marshal(v)
	b := bytes.Buffer{}
	if err != nil {
		b.WriteString("{err:\"json format error.")
		b.WriteString(err.Error())
		b.WriteString("\"}")
	} else {
		b.Write(bs)
	}
	str = b.String()
	return str
}
  • 运行生产者

  • 使用 go mod init my_comsumer 初始化一个项目, main.go:

package main

import (
	"fmt"
	"time"

	"github.com/Shopify/sarama"
	cluster "github.com/bsm/sarama-cluster"
)

var (
	kafkaConsumer *cluster.Consumer
	kafkaBrokers  = []string{"127.0.0.1:9092"}
	kafkaTopic    = "test_topic_1"
	groupId       = "csdn_test_1"
)

func init() {
	var err error
	config := cluster.NewConfig()
	config.Consumer.Return.Errors = true
	config.Group.Return.Notifications = true
	config.Consumer.Group.Rebalance.Strategy = sarama.BalanceStrategyRange
	config.Consumer.Offsets.Initial = -2
	config.Consumer.Offsets.CommitInterval = 1 * time.Second
	config.Group.Return.Notifications = true
	kafkaConsumer, err = cluster.NewConsumer(kafkaBrokers, groupId, []string{kafkaTopic}, config)
	if err != nil {
		panic(err.Error())
	}
	if kafkaConsumer == nil {
		panic(fmt.Sprintf("consumer is nil. kafka info -> {brokers:%v, topic: %v, group: %v}", kafkaBrokers, kafkaTopic, groupId))
	}
	fmt.Printf("kafka init success, consumer -> %v, topic -> %v, ", kafkaConsumer, kafkaTopic)
}

func main() {
	for {
		select {
		case msg, ok := <-kafkaConsumer.Messages():
			if ok {
				fmt.Printf("kafka msg: %s \n", msg.Value)
				kafkaConsumer.MarkOffset(msg, "")
			} else {
				fmt.Printf("kafka 监听服务失败")
			}
		case err, ok := <-kafkaConsumer.Errors():
			if ok {
				fmt.Printf("consumer error: %v", err)
			}
		case ntf, ok := <-kafkaConsumer.Notifications():
			if ok {
				fmt.Printf("consumer notification: %v", ntf)
			}
		}
	}
}
  • 运行消费者
最后
  1. 这是一个基础的使用,需要得到最佳实践还需要根据自己的项目来配置,去kafka看看
  2. 借鉴1 借鉴2
Lazydocker:终端里的高效 Docker TUI 管理器 Docker 是容器化部署的核心工具,而命令行操作(CLI)虽灵活却易陷入重复键入、上下文切换频繁的低效循环。TUI(终端用户界面)作为一种轻量级交互范式,通过键盘驱动、零图形依赖、低资源占用等特性,为远程运维、CI/CD 调试和本地开发提供了更顺手的容器管理路径。Lazydocker 正是这一理念的典型实践——它不替代 docker 命令,而是将其高频能力(如日志查看、exec 进入、compose 管理)封装为可导航、可快捷触发的终端界面,天然适配 SSH、DinD、Codespaces 等无 GUI 阅读详情

相关推荐

Docker微服务部署实战:从环境准备到docker-compose编排全解析

容器化技术正在重塑软件的交付方式,尤其对于微服务架构而言,它解决了环境不一致、依赖冲突与资源浪费等传统部署难题。理解镜像与容器的关系、数据卷的持久化机制以及容器网络的服务发现原理,是掌握这一技术的基石。通过Docker将MySQL、Redis等基础设施容器化,并利用多阶段构建精简业务镜像,再借助docker-compose一键编排Nacos、网关与业务服务,即可构建一套完整可运行的微服务环境。本文从实践角度出发,梳理了从环境准备到上线排障的完整链路,并给出了资源限制、日志滚动与回滚规范等关键建议,帮助开发者

weixin_34367257的博客 366

Kafka源码调试(一):如何开始调试Kafka源码

1. 搭建scala、gradle、zookeeper调试环境;2. 调试Kafka2.4.1源码

lijiewen2017的博客 2045

IGBT模块封装中的银烧结技术:为什么特斯拉和比亚迪都在用这种黑科技?

本文深入解析了IGBT模块封装中的银烧结技术,揭示了其作为功率半导体封装工艺关键升级的原因。该技术通过低温烧结形成高熔点、高导热导电的银连接层,显著提升了模块的功率循环寿命、散热能力和高温工作稳定性,这正是特斯拉、比亚迪等行业巨头采用此项黑科技以释放电动汽车电驱系统极致性能的核心所在。

yhn4567890的博客 835

聊聊 Kafka:编译 Kafka 源码并搭建源码环境

一、前言 老周这里编译 Kafka 的版本是 2.7,为啥采用这个版本来搭建源码的阅读环境呢?因为该版本相对来说比较新。而我为啥不用 2.7 后的版本呢?比如 2.8,这是因为去掉了 ZooKeeper,还不太稳定,生产环境也不太建议使用,所以以 2.7 版本进行源码搭建并研究。 二、环境准备 JDK:1.8.0_241 Scala:2.13.6 Gradle:5.6.3 三、环境搭建 3.1 JDK 环境搭建 这个就不用我说了吧,搞 Java 的本机都有 JDK 环境。 3.2 Scala 环境搭建

riemann_的博客 2450

工业质检新利器:手把手教你用AD-DINOv3实现零样本缺陷检测(附MVTec AD实战)

本文详细介绍了AD-DINOv3框架在工业质检中的应用,通过零样本异常检测技术解决传统方法的标注成本高和泛化能力弱问题。文章包含技术原理解析、MVTec AD数据集实战部署、模型训练流程及工业部署优化技巧,帮助读者快速掌握这一创新技术。

seed的博客 766

车载LIN总线避坑指南:主从节点通信失败的5个常见原因及解决方案

本文深度解析车载LIN总线主从节点通信失败的五大常见原因,涵盖物理层信号异常、调度表冲突、LDF配置错误、节点状态机缺陷及环境干扰。重点剖析了LDF文件配置不一致、波特率不匹配等关键问题,并提供了从示波器波形分析到软件配置检查的完整实战排查路径,帮助工程师高效定位并解决LIN通信故障。

g9h0i1的博客 1252

【Golang学习之旅】Go 语言微服务架构实践(gRPC、Kafka、Docker、K8s)

随着互联网技术的飞速发展,尤其是云计算的普及,微服务架构已经成为企业构建大型、分布式系统的主流选择。微服务架构的核心思想是将一个传统的单体应用程序拆解成若干个小而独立的服务,每个服务运行在独立的进程中,通过网络进行通信。每个微服务都负责一个独立的功能,并且可以根据业务需求独立开发、部署和扩展。在微服务架构中,服务之间通过标准协议(如HTTP、gRPC等)进行通信,而每个服务都拥有自己的数据存储和处理逻辑,避免了数据集中管理的单点故障问题。

程序员林北北的博客 3145

9.1 机器人动力学建模

目录9.1 机器人动力学建模一、机器人动力学的基本概念1. 什么是机器人动力学?2. 动力学方程二、机器人动力学建模方法1. 拉格朗日方法2. 牛顿-欧拉方法三、Simulink 中的机器人动力学建模1. 使用 Simscape Multibody 建模示例:构建一个两连杆机械臂的动力学模型。步骤:2. 使用 Robotics System Toolbox 建模示例:构建一个六自由度工业机器人的动力学模型。步骤:四、示例:两连杆机械臂的动力学建模目标:步骤:五、结果分析1. 动态响应2. 参数敏感性六、总结

xiaoheshang_123的博客 626

docker-compose安装kafka集群以及golang简单操作kafka

docker-compose安装kafka集群以及golang简单操作kafka 以及命令行操作topic记录

m0_59335012的博客 1067

面向可扩展的 ABAP CDS:EXTEND VIEW 全面实战与工程化指引

摘要: 本文深入讲解ABAP CDS的EXTEND VIEW功能,帮助开发者在标准或自建模型上安全扩展字段与关联。核心内容包括: 作用:避免直接修改标准CDS,通过轻量扩展添加业务字段和关联,降低维护风险。 语法要点:需定义CDS扩展实体名和Dictionary Append View名,支持添加普通字段、关联,但不允许聚合或修改原有结构。 限制:不能扩展含聚合、UNION的视图,且扩展字段需避免命名冲突。 工程实践:建议使用客户命名空间,区分结构扩展与元数据扩展,并注意功能性变更需通过其他方式实现。 示例

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 397

Altium Designer(AD24)导入DDB库文件(Protel 99SE)方法

Altium Designer和Protel均为Altium公司开发的软件。本文介绍Altium Designer 24软件导入DDB库文件(Protel 99SE)方法。

fydar的博客 1983

Golang异步调度之Kafka应用实践

Golang异步调度,kafka应用实践

zhw21w的博客 591

uniapp [全端兼容] - 实现接入使用天地图及卫星视图切换功能,在国家天地图上自由切换地图显示类型(卫星视图/地形视图/卫星混合/地形混合/普通视图)天地图切换视图显示改成卫星风格,切换地图图层

uni-app,h5移动端网页,微信小程序,支付宝小程序,Android安卓,苹果ios,app,nvue,天地图,视图,卫星,地图类型切换,uniAPP天地图,改成卫星视角,在线地图切换,来回切换卫星图,天地图如何实现来回切换卫星图,地形图,卫星视图,VUE3引入天地图卫星版,详细教程示例源码代码,天地图切换卫星用什么api,卫星视角API方法,vue3卫星天地图,能改地图的显示方式,vue3中使用天地图自定义样式切换地图图层,切换报错,加载出错,卫星图太卡,地图图层更换,vue3安装集成天地图详细示例源

🏆 前端领域优质创作者 1万+

OpenIM Kafka 安装与使用完全指南:Docker Compose 部署、Topic 管理与命令行实战

Kafka 是 OpenIM 消息链路中承上启下的消息队列组件,负责将消息从 `msg` RPC 服务转发到 Redis 缓存、MongoDB/MySQL 持久化以及推送服务。本篇指南以 OpenIM 官方文档 [docs/contrib/kafka.md](https://link.gitcode.com/i/0a867df73181ef7b2b01f126b54db9cc) 为核心骨架,结合仓

gitblog_01034的博客 444

OpenClaw简介--windows系统安装OpenClaw

在windows安装OpenClaw实现代替人工操作。步骤流程详细,图文并茂。

直到世界的尽头 5353

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Docker Compose 常用命令大全:从启动、调试到排查问题,一篇搞懂

<think>我们只需要根据用户要求生成摘要,不用阅读全文。用户要求:“根据以下内容,生成≤150字的文章摘要”。内容是关于Docker Compose的。需要摘要。输出≤150字。</think>本文介绍Docker Compose的作用与常用命令,用于统一管理多容器项目(如Web、数据库、缓存等)。通过docker compose up -d启动服务,支持后台运行、指定服务、重建镜像;down停止并删除容器,-v可删数据卷需慎用;stop/start仅停止不删除,restart重启;ps查看状态。新版推

JavaPub 356

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

DuckyScript命令完全速查表:WiFi-password-stealer payload用到的核心语法一次讲透

WiFi-password-stealer 是一个面向安全研究的 Windows 和 Linux 键盘按键注入(Keystroke Injection)工具,通过 USB 设备自动"打字"执行命令,从而导出目标电脑中保存的 WiFi 名称(SSID)和密码。本项目的所有 payload 都是用 **DuckyScript** 编写的——这是 Bash Bunny、Rubber Ducky 等 US

gitblog_01134的博客 188

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

go build 无文件_Go 质量保证:集成测试(1) 用 Docker 执行测试

点击上方蓝色“Go语言中文网”关注我们,领全套Go资料,每天学习Go语言简介 “测试会带来失败,而失败会带来理解。” —— Burt RutanBurt Rutan 是一名航空航天工程师,他设计了 Voyager,这是第一架在不停车或加油的情况下环球飞行的飞机。虽然 Rutan 不是软件工程师,但他的话充分说明了测试的重要性,甚至是软件测试。所有形式的软件测试都非常重要,无论是单元、...

weixin_39638304的博客 167

docker编译go get代码时报dial tcp xxx.xxx.xxx.xxx io timeout错误

然后我就单独使用docker build -t my_test --network=host 去构建Docker,发现是可以构建成功的,且不会报超时错误。我就发现主机是可以从代理网站go get 相关库的,既然我使用了主机网络那按道理来说构建容器时,应该也是可以go get到相关库也是可以构建成功的啊,我百思不得其解。然后此时在使用docker-compose up -d去构建容器就不会报超时错误了,就构建成功了。是告诉Docker构建时使用主机网络命名空间,而在Docker Compose中使用。

xiaoaoniubi的博客 557

容器化部署goflow2:Docker与Kubernetes环境下的最佳实践

goflow2是一款高性能的sFlow/IPFIX/NetFlow流量采集器,能够帮助网络管理员高效监控和分析网络流量。本文将详细介绍如何在Docker和Kubernetes环境下容器化部署goflow2,让你轻松上手这一强大工具。 ## 为什么选择容器化部署goflow2? 容器化部署已成为现代应用部署的主流方式,对于goflow2而言,容器化部署具有以下优势: - **环境一致性**:确

gitblog_00780的博客 987

Magpie 窗口放大完整指南:高分屏缩放算法选型与场景配置实战

Magpie 是一款面向 Windows 10/11 的轻量级窗口放大工具:它捕获目标窗口或屏幕区域的画面,交由 GPU 按指定算法重新缩放后呈现,让低分辨率应用和老游戏在 4K 等高分辨率显示器上保持清晰。本文覆盖 Magpie 窗口放大工具的能力范围、安装方式、核心功能、按场景给出的推荐配置,以及常见问题的快速排查方法,适合游戏玩家、办公用户和有演示需求的读者。 ## 能力速览 Magpi

gitblog_00912的博客 829

【Docker】

Docker诞生于开发运维环境不一致的痛点,通过“镜像打包+容器隔离”实现应用快速部署与高效资源利用。其核心思想源于集装箱,以轻量级容器替代虚拟机,显著提升性能与可移植性。基于Client-Server架构,Docker由引擎、镜像、容器与仓库构成,支持DevOps全流程。官方推荐在Linux服务器上通过apt源安装Docker Engine,确保稳定与可维护性,适用于生产环境。

athicket 1435

Mac Mouse Fix 鼠标增强:侧键重映射与平滑滚动实战指南

Mac Mouse Fix 是一款开源鼠标增强工具:在 HID 层拦截鼠标事件流,重新定义按键与滚轮行为,把十元鼠标的侧键、滚轮调出 Apple 触控板的跟手感。以下所有结论均可在仓库源码与支持文档中核对。 ## 跑之前先确认:鼠标增强工具的系统要求 | 项目 | 要求 | 备注 | | --- | --- | --- | | 系统版本 | macOS 11 Big Sur 及以上 | 10.

gitblog_00647的博客 823

如何自托管部署OpenReplay?Docker Compose与Kubernetes等5种方式完整指南

OpenReplay 是一款开源的**会话回放(Session Replay)与产品分析工具**,可以完全自托管部署(Self-Host):你不仅能看到用户在网页上的每一步操作,还能同步抓取网络请求、控制台日志、JS 错误、性能指标等"幕后数据",帮助团队快速复现 Bug、优化产品体验。本文整理出 **5 种自托管部署方式**——Docker Compose、Kubernetes/Helm、公有云

gitblog_01015的博客 256

highlight.io Hobby 版自托管部署实战指南:基于 Docker Compose 搭建本地或小规模监控实例

highlight.io 是一款开源的全栈可观测性平台,集错误监控、会话回放、日志与分布式追踪于一体。本指南围绕其 **Hobby(爱好者)自托管部署方案**,完整讲解如何在你的本地机器或小型远程实例上,用 Docker Compose 一键拉起整套后端、前端与基础设施,并完成网络配置、密码认证、可选 SSL 以及前端 SDK 接入。读完本文,你将能独立跑起一个可用的 highlight.io 实

gitblog_00996的博客 393

Nuxt Studio 自定义表单开发:从零创建 Schema 驱动的输入组件

**Nuxt Studio** 是 Nuxt 生态的可视化内容编辑界面,让团队在**生产环境**直接编辑 Markdown 网站内容。它最强大的能力之一,是根据你在 `content.config.ts` 中用 Zod 编写的 Schema **自动生成表单**,再通过 `.editor()` 方法和自定义输入组件实现深度定制。本文带你从零理解这套 Schema 驱动的表单体系,并学会创建属于自己

gitblog_02642的博客 621
上一篇: golang 变量作用域
23:45
博客等级 码龄8年 0粉丝 2原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值