
kafka
文章平均质量分 79
Dongguabai
这个作者很懒,什么都没留下…
展开
-
Kafka 消费者组的重平衡
Kafka 消费者组的重平衡(Rebalance)是指当消费者组中的成员发生变化时,Kafka 会重新分配分区给消费者的过程。重平衡是 Kafka 消费者组实现高可用性和动态扩展的重要机制。以下情况会触发消费者组的重平衡:假设有一个主题 ,有 6 个分区,消费者组 有 3 个消费者(C1、C2、C3)。分区分配可能如下:如果 C3 离开消费者组,重平衡后分区可能重新分配为:Kafka 消费者组的重平衡是为了动态适应消费者组成员的变化,确保分区能够被有效消费。虽然重平衡可能带来短暂的消费中断,但通过合理的配原创 2025-03-14 09:07:45 · 453 阅读 · 0 评论 -
初识 Kafka
什么是 KafkaKafka 是一款分布式消息发布和订阅系统,具有高性能、高吞吐量的特点而被广泛应用与大数据传输场景。它是由 Linkedln 公司开发,使用 Scala 语言编写,之后成为 Apache 基金会的一个顶级项目。Kafka 提供了类似 JMS 的特点,但是在设计和实现上是完全不同的,而且他也不是 JMS 规范的实现。Kafka 的产生背景Kafka 作为一个消息系统,早...原创 2019-01-16 21:06:16 · 229 阅读 · 0 评论 -
理解 Kafka 中的 Topic 和 Partition
首先要注意的是,Kafka 中的 Topic 和 ActiveMQ 中的 Topic 是不一样的。在 Kafka 中,Topic 是一个存储消息的逻辑概念,可以认为是一个消息集合。每条消息发送到 Kafka 集群的消息都有一个类别。物理上来说,不同的 Topic 的消息是分开存储的,每个 Topic 可以有多个生产者向它发送消息,也可以有多个消费者去消费其中的消息。每个 Topic 可...原创 2019-01-18 20:45:31 · 44390 阅读 · 4 评论 -
IllegalStateException: Subscription to topics, partitions and pattern are mutually exclusive
异常信息如下:Exception in thread "main" java.lang.IllegalStateException: Subscription to topics, partitions and pattern are mutually exclusive at org.apache.kafka.clients.consumer.internals.Subscription...原创 2019-01-18 17:27:24 · 4530 阅读 · 0 评论 -
Kafka 可视化客户端工具(Kafka Tool)的基本使用
转自:https://www.cnblogs.com/frankdeng/p/9452982.html1、下载下载地址:http://www.kafkatool.com/download.html2、安装根据不同的系统下载对应的版本,我这里kafka版本是1.1.0,下载kafka tool 2.0.1。 双击下载完成的exe图标,傻瓜式完成安装3、简单使用...转载 2019-01-17 16:11:45 · 24293 阅读 · 2 评论 -
Kafka Demo
添加 Kafka 依赖:<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>1.1.0</version></dep原创 2019-01-17 15:47:55 · 1488 阅读 · 3 评论 -
Kafka Consumer Config 配置
转自:https://www.cnblogs.com/f-zhao/p/7456771.html从0.9.0.0开始,下面是消费者的配置。名称 描述 类型 默认值 bootstrap.servers 消费者初始连接kafka集群时的地址列表。不管这边配置的什么地址,消费者会使用所有的kafka集群服务器。消费者会通过这些地址列表,找到所有的kafka集群机器。...转载 2019-01-17 14:34:59 · 7062 阅读 · 0 评论 -
Kafka Producer Config 配置
转自:https://blog.youkuaiyun.com/jiecxy/article/details/53395336 属性 描述 类型 默认值 bootstrap.servers 用于建立与kafka集群的连接,这个list仅仅影响用于初始化的hosts,来发现全部的servers。格式:host1:port1,host2:port2,…,数量尽量不止一个,以防其中...转载 2019-01-17 14:19:32 · 2514 阅读 · 0 评论 -
Kafka 是什么及基本概念
转自:http://blog.51cto.com/littledevil/2134686?source=drakafka是用于构建实时数据管道和数据流的应用程序。具有实时横向扩展、高吞吐量、支持大量堆积具有容错性和速度快等特点。它是一个高性能分布式消息系统。通常一个分布式流数据平台它具有三个特点: 发布和订阅功能,类似于消息系统 以容错的方式记录流 处理流 Kaf...转载 2019-01-17 14:00:41 · 551 阅读 · 0 评论 -
Kafka 中的几个概念
转自:https://www.cnblogs.com/mengyou0304/p/4836555.html基本概念下面的概念中有部分逻辑概念,部分实体概念。Broker物理概念,指服务于Kafka的一个node。topicMQ中的抽象概念,是一个消费标示。用于保证Producer以及Consumer能够通过该标示进行对接。可以理解为一种Naming方式。partitio...转载 2019-01-17 13:57:44 · 390 阅读 · 0 评论 -
ActiveMQ 和 Kafka 有什么区别?
转自:https://www.zhihu.com/question/272186518这是两种截然不同的mq。Active MQ被称为“传统”mq。所谓“传统”是指,他要支持一些标准接口,比如AMQP, STOMP等 需要维护consumer的状态。即当前consumer读到哪个数据了,是active mq来维护的。 active mq最早用来做企业级别的系统整合。要支持所谓的“企...转载 2018-12-29 13:20:25 · 1206 阅读 · 0 评论