第一节：kafka golang sarama初体验

已于 2024-02-28 09:22:53 修改
阅读量831 收藏 5
点赞数 4
CC 4.0 BY-SA版权
分类专栏： Golang 运维开发实战手册 文章标签： kafka golang 运维开发
于 2024-02-20 16:05:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cui_win/article/details/136190655
本文介绍了使用Golang的sarama库与Apache Kafka交互的基础，包括sarama的主要功能、操作对象如Client和ClusterAdmin，并展示了如何创建项目和使用示例代码查询Kafka集群的元数据，如Topics和Brokers。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

关于Kafka的开发库，以Java的居多，Golang语言的开发库，主要推荐的是sarama
项目地址： https://github.com/IBM/sarama
项目文档：https://godoc.org/github.com/Shopify/sarama
这个项目之前地址是https://github.com/Shopify/sarama 通过源地址也可以访问

一、sarama是什么？

sarama是一个纯粹的Go客户端库，用于处理Apache Kafka（0.8及更高版本）。
目前研究的几个操作对象：

type Client ： 主要操作元数据

例如获取所有Topics，获取Controller ID ，获取Broker ID和Addr 等

type ClusterAdmin:

主要操作和获取集群主题，副本等信息

其他待补充

二、小试牛刀

1.创建项目

代码如下（示例）：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
第二节：kafka golang sarama的ClusterAdmin类操作
cuiwin的专栏
02-20 409
上一节，我们已经简单接触了sarama包的使用，通过Client类型操作，获取了kafka的元数据信息，如果我们需要获取kafka，topic详情信息呢，下面我们使用ClusterAdmin类的使用ClusterAdmin是Kafka的管理客户端，支持管理和检查主题、代理、配置和ACL。所需的最低代理版本为0.10.0.0。具有更严格要求的方法将指定所需的最低代理版本。您必须在客户端上调用Close（）以避免泄漏import ("fmt""log"if err!
golang kafka Shopify/sarama 消费者重置新增分区偏移量并进行重新消费
Enjun97的博客
03-14 2474
在重平衡回调方法中使用redis的无序集合储存当前主题、当前消费者组下的全部分区信息，然后在根据当前消费者会话去和上一代的全部分区信息进行差集对比，对比的结果就是新增的分区。得到新增的分区后将这些分区的偏移量重置为0即重头开始消费，当前存在重复消费的情况，需要你的业务逻辑上做好幂等性。最后再将这些差集新增分区ID更新至redis存储的当前主题、当前消费者组下的全部分区信息内形成了一个闭环，即使一个消费者组下有多个消费者进程也不会出现数据覆盖更新等问题，因为如果存在差集新增分区只会将更新差集分区ID。
Golang中如何正确的使用sarama包操作Kafka？
xmcy001122的专栏
08-10 4073
背景 在一些业务系统中，模块之间通过引入Kafka解藕，拿IM举例（图来源）： 用户A给B发送消息，msg_gateway收到消息后，投递消息到Kafka后就给A返回发送成功。这个时候，其实还没有持久化到mysql中，虽然最终会保持一致性。所以，试想如果Kafka丢消息了，是不是就出大问题了？A认为给B发送消息成功了，但是在服务器内部消息丢失了B并没有收到。 所以，在使用Kafka的时候，有一些业务对消息丢失问题非常的关注。 同样，常见的问题还有： 重复消费的问题。 乱序的问题。 下面我们来一起看一下
golang: sarama 链接Kafka
strom_xu
06-23 1120
golang 链接kafka
go语言操作kafka
qq_35857939的博客
10-14 651
sarama Go语言中连接kafka使用第三方库: github.com/Shopify/sarama。 下载及安装 go get github.com/Shopify/sarama {{% panel status=“notice” title=“注意事项” %}} sarama v1.20之后的版本加入了zstd压缩算法，需要用到cgo，在Windows平台编译时会提示类似如下错误： g...
Go 操作kafka包sarama
无风的雨
10-16 2423
概述 sarama 是一个纯 Go 客户端库，用于处理 Apache Kafka（0.8 及更高版本）。它包括一个用于轻松生成和使用消息的高级 API，以及一个用于在高级 API 不足时控制线路上的字节的低级 API。 在github上stars上比较多（推荐）。 开源包：https://github.com/Shopify/sarama 文档地址：https://pkg.go.dev/github.com/shopify/sarama 闲话少叙，上示例 package main import (
Kafka Go客户端--Sarama
最新发布
m0_73180708的博客
05-13 2361
在Go语言中，有多个Kafka客户端可供选择，其中Sarama、segmentio/kafka-go和confluent-kafka-go是较为知名的三个。Sarama是目前用户数量最多的客户端，最初由Shopify开发，现由IBM维护。segmentio/kafka-go虽然没有显著缺点，但功能相对基础。confluent-kafka-go则需要启用cgo，跨平台支持较差，且不支持交叉编译。 Sarama提供了命令行工具，可以用于简单的消费者和生产者操作。安装Sarama工具时，可以通过设置Go代理来加速
2024年最新第一节：kafka golang sarama初体验(2)，颠覆认知
2401_84911346的博客
05-12 416
关于Kafka的开发库，以Java的居多，Golang语言的开发库，主要推荐的是sarama项目地址：这个项目之前地址是https://github.com/Shopify/sarama 通过源地址也可以访问。
golang操作kafka
qq_39272466的博客
07-04 963
【代码】golang操作kafka。
golang源码分析：sarama kafka client(part III:client的角色)
大叶子不小的博客
12-28 1283
golang源码分析：sarama kafka client(part III:client的角色) - 墨天轮 理解client的角色对我们理解kafka和sarama非常有帮助。下面将一一详细介绍： 我们用到了各种各样的client，返回的对象都是一个Broker的指针，本质上讲，我们通过kafka client 最终都是和broker通信，所以用Broker对象封装和kafka的连接，表示Client。不同场景下，Client有不同的角色，角色是通过元数据来确定的。 fun...
Go-JOCKO用Golang实现Kafka
08-14
JOCKO：用Golang实现Kafka
golang kafka
Conny
09-03 659
kafka 连接kafka Producer（生产者，放数据）package mainimport ( "time" "fmt" "github.com/Shopify/sarama" )func main() { config := sarama.NewConfig() config.Producer.RequiredAcks = sarama.WaitFo
golang kafka sarama 源码解析
gdut17的博客
03-22 673
【代码】golang kafka sarama 源码解析。
golang用sarama连接kafka
cumt_TTR的专栏
01-16 2015
不用group连接 这种方式我自己有个疑问分别在v2ex和0GitHub上提了问题,如有知道的也请告知 package main import ( "fmt" "log" "os" "os/signal" "time" "github.com/Shopify/sarama" "github.com/alecthomas/log4go" ) func main() { d...
https://www.modb.pro/db/129998
大叶子不小的博客
12-28 1705
golang源码分析：sarama kafka client(part I:生产者) - 墨天轮 https://github.com/Shopify/sarama 是一个纯go实现的kafka客户端，是gopher学习kafka一个很好的资料。说实话sarama的代码组织很烂，密密麻麻一堆源码文件都在一个目录，让人无从下手，下面列出了一部分： examples mocks tools //基于客户端，实现的kafka客户端工具 tools/kafka-producer-performance
go语言并发实战——日志收集系统(三) 利用sarama包连接KafKa实现消息的生产与消费
qq_73924465的博客
04-17 2461
由于1.19版本后添加了ztcd压缩算法，需要用到cgo，这里我们为了方便考虑选择下载。不过这个不能实现直接的消费，后续我们会对这个进行补充，这里制作介绍。今天我们所时机的内容需要用到go语言的第三方包。了,但是博主在做的时候发现，这样会直接清除掉。命令来安装第三方包，我们要使用/，所以这里我们不能直接使用。其实这是已经可以使用命令。等待命令运行完毕，打开。这时候再打开终端输入。
golang kafka客户端 sarama，segmentio/kafka-go ，confluent-kafka-go，franz-go比较
王仁一的博客
05-30 2051
golang kafka客户端 sarama，segmentio/kafka-go ，confluent-kafka-go，franz-go哪个更好
Golang 使用 Sarama 消费 Kafka 集群消息 (1)
xiangyong_的博客
09-30 918
消费者组允许多个消费者并行处理相同主题的消息，每个消费者负责处理不同的分区。创建时需要先实例化Sarama配置对象。根据连接到的Kafka集群创建Sarama配置对象，需要注意Kafka集群版本以及消费者组的偏移量。方法，把实例化的consumer对象作为参数传入。消费过程在goroutine中运行，死循环调用。函数中写消息的处理逻辑。
go 操作kafka包 sarama 使用（示例）
热门推荐
luslin1711的博客
04-27 7万+
go 操作kafka包 sarama 使用（一） 截止当前时间，github上golang操作kafka的包主要有两个： Shopify/sarama starts 5.7k confluentinc/confluent-kafka-go starts 2k saram 使用纯go语言编写， confluent-kafka-go 这是包装了c的api...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值