笨鸟的平凡之路-简单理解什么是_consumers_offsets

最新推荐文章于 2023-08-21 00:09:06 发布

笨鸟的平凡之路

最新推荐文章于 2023-08-21 00:09:06 发布

阅读量854

点赞数

CC 4.0 BY-SA版权

分类专栏： kafka 文章标签：大数据

本文链接：https://blog.youkuaiyun.com/weixin_45109718/article/details/90711889

kafka 专栏收录该内容

1 篇文章

订阅专栏

Kafka 0.9版本后，consumer及consumer group位移管理与保存机制改变，默认不再将位移存于Zookeeper，而是__consumer_offsets topic。可创建消费者消费该topic。自动创建时默认50个分区、1个副本，为防单点故障，建议增加副本数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在kafka 0.9 版本之后关于consumer及consumer group,位移的管理与保存机制发生了很大的变化,此后版本的consumer默认将不再保存位移到zookeeper中,而是__consumer_offsets这个topic中.zookeeper其实并不适合进行大批量的读写操作,尤其是写操作.增加__consumeroffsets topic,将offset信息写入这个topic,摆脱对zookeeper的依赖(指保存offset这件事情).__consumer_offsets中的消息保存了每个consumer group某一时刻提交的offset信息.
参考博客:
https://blog.youkuaiyun.com/qq_36096641/article/details/81583268

因为__consumer_offsets 是一个topic,kafka将consumer的消费信息push到该topic.所以我们也可以创建一个消费者去消费__consumer_offsets这个topic.
kafka在自动创建__consumer_offsets这个topic的时候默认是50个分区,1个副本.所以可能会发生单点故障.为了防止这种灾难发生,建议增加该topic的副本数.
参考博客:
https://www.cnblogs.com/jun1019/p/6634545.html