Consumer原理分析

最新推荐文章于 2024-08-19 18:42:48 发布
最新推荐文章于 2024-08-19 18:42:48 发布
阅读量140 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiamaocheng/article/details/121620896

Consumer原理分析

LD is tigger forever，CG are not brothers forever， throw the pot and shine forever.
Modesty is not false, solid is not naive, treacherous but not deceitful, stay with good people, and stay away from poor people.
talk is cheap, show others the code and KPI， Keep progress，make a better result.
Survive during the day and develop at night。

目录

概 述

分区分配策略
分区在集群中的分配策略：
将所有broker（n个）和partition排序
将第i个Partition分配到第（i mode n）个broker上
Producer如何把消息发送给对应分区
当key为空时，消息随机发送到各个分区（各个版本会有不同，有的是采用轮询的方式，有的是随机，有的是一定时间内只发送给固定partition,隔一段时间后随机换一个）

用key的ha’sh值对partion个数取模，决定要把消息发送到哪个partition上

消费者分区分配策略
Range 范围分区(默认的)
假如有10个分区，3个消费者，把分区按照序号排列0，1，2，3，4，5，6，7，8，9；消费者为C1,C2,C3，那么用分区数除以消费者数来决定每个Consumer消费几个Partition，除不尽的前面几个消费者将会多消费一个
最后分配结果如下
C1：0，1，2，3
C2：4，5，6
C3：7，8，9
如果有11个分区将会是：
C1：0，1，2，3

C2：4，5，6，7
C3：8，9，10

C1：T1（0，1，2，3） T2（0，1，2，3）
C2：T1（4，5，6） T2（4，5，6）
C3：T1（7，8，9） T2（7，8，9）

RoundRobin 轮询分区：
partition，consumer，然后轮询consumer和partition，尽可能的让把partition均匀的分配给consumer

假如有3个Topic T0（三个分区P0-0，P0-1,P0-2），T1(两个分区P1-0,P1-1)，T2(四个分区P2-0，P2-1，P2-2，P2-3)
有三个消费者：C0(订阅了T0，T1),C1（订阅了T1，T2），C2(订阅了T0,T2)
在这里插入图片描述
分区将会按照一定的顺序排列起来，消费者将会组成一个环状的结构，然后开始轮询。
P0-0分配给C0
P0-1分配给C1但是C1并没订阅T0，于是跳过C1把P0-1分配给C2,
P0-2分配给C0
P1-0分配给C1,
P1-1分配给C0,
P2-0分配给C1，
P2-1分配给C2,
P2-2分配给C1,

什么时候触发分区分配策略：
1.同一个Consumer Group内新增或减少Consumer
2.Topic分区发生变化
1.同一个Consumer Group内新增或减少Consumer
2.Topic分区发生变化

Rebalance的执行

kafka提供了一个角色Coordinator来执行。当Consumer Group的第一个Consumer启动的时候，他会向kafka集群中的任意一台broker发送GroupCoordinatorRequest请求，broker会返回一个负载最小的broker设置为coordinator，之后该group的所有成员都会和coordinator进行协调通信

kafka提供了一个角色Coordinator来执行。当Consumer Group的第一个Consumer启动的时候，他会向kafka集群中的任意一台broker发送GroupCoordinatorRequest请求，broker会返回一个负载最小的broker设置为coordinator，之后该group的所有成员都会和coordinator进行协调通信

整个Rebalance分为两个过程 jionGroup和sysncJion

joinGroup过程
在这一步中，所有的成员都会向coordinator发送JionGroup请求，请求内容包括group_id,member_id.protocol_metadata等，coordinator会从中选出一个consumer作为leader，并且把组成员信息和订阅消息，leader信息，rebanlance的版本信息发送给consumer

Synchronizing Group State阶段
组成员向coordinator发送SysnGroupRequet请求，但是只有leader会发送分区分配的方案（分区分配的方案其实是在消费者确定的），当coordinator收到leader发送的分区分配方案后，会通过SysnGroupResponse把方案同步到各个consumer中

小结

参考资料和推荐阅读

1.链接: 参考资料.

Pulsar Consumer原理与代码实例讲解
AI天才研究院
11-08 674
Pulsar Consumer原理与代码实例讲解 摘要 本文将深入探讨Pulsar Consumer的原理，并通过代码实例对其进行详细讲解。Pulsar是一个高性能、可扩展的消息传递系统，其Consumer模块承担着消息消费的核心任务。本文将从Pulsar概述、术语与概念、部署与配
Kafka Consumer原理与代码实例讲解
AI天才研究院
08-13 402
Kafka Consumer原理与代码实例讲解 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 消息队列与Kafka 在现代分布式系统中,消息队列(Message Queue)扮演着至关重要的角色。它
Kafka Consumer底层原理分析【Kafka系列】
可可的专栏
08-14 6622
虽然目前Kafka0.10版本已经重写了其API，但底层原理是类似的，所以我们可以先了解kafka0.8.x里面的提供的Consumer的实现原理与交互流程 Kafka提供了两套API给Consumer The SimpleConsumer API The high-level Consumer API 本文介绍了这两种API的用法与底层原理
kafka的分区分配策略
大叶子不小的博客
10-13 361
分区在集群中的分配策略 将所有broker（n个）和partition排序 将第i个Partition分配到第（i mode n）个broker上 Producer如何把消息发送给对应分区 当key为空时，消息随机发送到各个分区（各个版本会有不同，有的是采用轮询的方式，有的是随机，有的是一定时间内只发送给固定partition,隔一段时间后随机换一个） 用key的ha’sh值对partion个数取模，决定要把消息发送到哪个partition上 消费者分区分配策略 Range 范围分区
Java的Consumer
weixin_63490470的博客
12-29 4355
Java中的Consumer接口是Java 8引入的一部分，属于包。它代表了一个接受单个输入参数但不返回任何结果的操作，可以看作是一个具有单个参数的函数，这个函数执行某种操作但不返回任何值。由于它是一个函数式接口，可以配合lambda表达式或方法引用使用。Consumer接口主要用于实现在对某些对象执行操作时不需要返回结果的场景。例如，它经常用于从集合中处理信息、打印值、写入日志等。
java8 supplier_Java8 Supplier接口和Consumer接口原理解析
weixin_29387991的博客
02-21 175
Supplier接口package java.util.function;/*** Represents a supplier of results.** There is no requirement that a new or distinct result be returned each* time the supplier is invoked.** This is a function...
kafka_consumer_消费原理介绍
寒夜
02-21 2403
文章目录简介consumer使用样例consumer 如何和server通信，consumer的offset管理__consumer_offsetsconsumer group的rebalance关于coordinator在join-group的等待时间 简介 本文根据kafka-1.0.0   kafka的consumer相对来说比producer复杂一些，因为他牵扯到对offset的提交，co...
java 函数接口Consumer详解与示例【函数式编程】
weixin_42369079的博客
08-19 1271
Java 8 中的 消费者接口Consumer 是一个函数接口，它可以接受一个泛型 类型参数，它属于java.util.function包。 accept(T) 方法：是 Consumer 函数式接口的方法，传入单个输入参数，无返回值，可以用于 Lambda 表达式和方法引用。 你可以使用 Consumer 来执行某个动作，比如打印操作，该动作接受一个参数并且不返回任何值。
Java8 Supplier接口和Consumer接口原理解析
08-19
主要介绍了Java8 Supplier接口和Consumer接口原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Consumer
ERJI2022的博客
09-14 242
Consumer 常用API + 源码翻译
java Consumer接口与示例
热门推荐
西凉的悲伤博客
04-21 1万+
目录一、consumer使用示例代码1：示例代码2：示例代码3：示例代码4：二、Consumer相关的接口 Java 8 中的 Consumer 是一个函数接口，它可以接受一个泛型 <T> 类型参数，进行处理后无任何返回值。 accept(T) 方法是 Consumer 函数式接口的函数方法，传入一个任意类型，无返回值，可以用于 Lambda 表达式和方法引用。 andThen(Consumer) 方法可以传入一个 Consumer，返回组合了两个 Consumer 后的 Consumer ，
Consumer类
LANMAO112的博客
10-22 1406
那个lambda表达式的意思就是重写了接口里的方法，它返回了一个接口的子类对象回来（实现这个接口的类），调用speak方法就是需要一个String类型的参数和一个Consumer类型的参数。今天学习mybatisPlus的时候看到了System.out::println()这个方法，百思不得其解，后续查看资料发现和Consument类有关。还有一个默认的方法andThen,使用andThen方法，把两个Consumer接口连接到一起，再消费数据。使用Lambda表达式，来使用这个接口。
Kafka Provider & Consumer Demo
Be yourself.
03-14 994
前言 很久没有深入调研Kafka了，最近开始研究起来。最好能够弄一份源码，满满细读。 本文主要讲解如何写一个Kafka的官方样例。 PS: 哎，Kafka迭代了好几个版本了，周围的人也是物是人非。 Demo 本文的Demo主要包括如下的几个部分: Maven 依赖 Provider Consumer 启动入口 前置条件: JDK、Maven、Kafka集群(Kafka+Zoo...
java 中Consumer的使用
fangyang_000的博客
12-23 9981
参考链接https://blog.csdn.net/chuji2012/article/details/77871011 在java8中添加了Consumer，本文讲下其使用。Represents an operation that accepts a single input argument and returns no result.表示接受单个输入参数且不返回结果的操作。 我理解其...
Kafka Consumer
龍 博客
08-11 1044
转载 通过之前的架构介绍，对Consumer有了一个初步的了解。这里再深入一点来了解一下Consumer。 1、Consumer Group 与 topic 订阅 每个Consumer 进程都会划归到一个逻辑的Consumer Group中，逻辑的订阅者是Consumer Group。所以一条message可以被多个订阅message 所在的topic的每一个Consumer Group，也...
新版本 Kafka Consumer 的设计原理
大数据开发实践者
08-01 3454
　　相对Producer来说，Consumer使用和设计类似，但更为复杂。因此将Consumer相关知识总结一番。顾名思义，consumer就是读取kafka集群中某些topic消息的应用程序。consumer有两个版本，老版本用Scala语言编写，其api包名为kafka.consumer.*, 分别提供high-level和low-level两种API，其缺点是用户必须自行实现错误处理和故障转...
java8 Consumer 源码详解示例
老卡的博客
06-01 680
1. 简介        java8开始引入函数式编程，该接口定义为声明一个函数对象。顾名思义，实现该接口的类主要是用来消费数据，但是不返回结果，因此，在该接口的内部可以通过异步来实现业务的处理，而不影响数据的消费。该接口只支持一个参数。该接口和Function接口的主要区别是没有返回值。 2. 方法说明 2.1. accept       该方法是接口的核心方法，定义该函数的业
dubbo原理分析
最新发布
03-14
<think>好的，用户让我分析Dubbo的原理，我需要先回忆Dubbo的基本架构和工作机制。Dubbo是阿里巴巴开源的分布式服务框架，主要用于高性能的RPC通信。首先，我应该从核心组件开始，比如服务提供者、消费者、注册中心、监控中心等。 接下来，服务注册与发现的流程。当服务提供者启动时，它会将服务信息注册到注册中心，而消费者在启动时会从注册中心订阅所需的服务。注册中心负责维护服务列表，并通知消费者任何变更。这里可能需要提到Zookeeper作为常用的注册中心。 然后是RPC通信机制，Dubbo默认使用Netty进行网络通信，数据传输协议可以是Dubbo协议、HTTP等。需要解释调用过程，消费者如何通过代理发起请求，经过负载均衡选择提供者，然后序列化请求数据，发送到提供者，提供者反序列化并处理，返回结果。 负载均衡策略也很重要，Dubbo支持随机、轮询、最少活跃调用等策略，这些策略在集群容错时发挥作用。集群容错模式如Failover、Failfast等，需要简要说明它们的不同应用场景。 此外，SPI机制是Dubbo扩展性的关键，允许用户自定义组件，比如协议、序列化方式等。动态代理方面，Dubbo使用Javassist或JDK动态代理来生成服务接口的代理类，实现远程调用。 监控和管理部分，Dubbo通过暴露服务统计信息，帮助监控运行状态，并支持路由规则、权重调整等管理功能。最后，总结其核心原理，包括服务治理、通信机制和扩展性。 在回答时要确保结构清晰，分点说明各个组件和工作流程，同时要提到相关技术如Netty、Zookeeper、SPI等。最后的问题需要围绕Dubbo的核心概念、组件、通信协议、负载均衡策略、SPI机制等方面提出，帮助用户深入理解。</think><< Dubbo原理分析： Dubbo是阿里巴巴开源的分布式服务框架，核心目标是实现高性能RPC（远程过程调用）和服务治理。其核心原理可以分为以下模块： ### 1. **服务注册与发现** - **原理**： - 服务提供者（Provider）启动时向注册中心（如Zookeeper、Nacos）注册服务元数据（IP、端口、接口名等）。 - 服务消费者（Consumer）从注册中心订阅所需服务，获取提供者列表并缓存本地。 - 注册中心通过心跳检测实时维护服务可用性。 - **代码示例**（服务注册配置）： ```java // Provider配置 <dubbo:service interface="com.example.DemoService" ref="demoService" /> <dubbo:registry address="zookeeper://127.0.0.1:2181" /> ``` ### 2. **RPC通信机制** - **原理**： - 消费者通过动态代理生成服务接口的代理对象，调用方法时封装请求信息（方法名、参数等）。 - 默认使用Netty作为网络通信框架，通过自定义协议（Dubbo协议）传输数据。 - 序列化支持Hessian、JSON、Kryo等格式。 - **调用流程**： 消费者 -> 代理对象 -> 负载均衡选择Provider -> 网络传输 -> Provider处理请求 -> 返回结果。 ### 3. **负载均衡与集群容错** - **负载均衡策略**： - Random（随机）、RoundRobin（轮询）、LeastActive（最少活跃调用）等。 - **集群容错模式**： - Failover（失败自动切换）、Failfast（快速失败）、Failsafe（安全失败）等。 - **代码示例**（配置负载均衡）： ```java <dubbo:reference interface="com.example.DemoService" loadbalance="roundrobin" /> ``` ### 4. **服务治理与监控** - **原理**： - 通过Admin控制台管理服务（路由规则、权重调整）。 - 监控中心统计调用QPS、耗时等指标。 ### 5. **SPI扩展机制** - **原理**： Dubbo通过SPI（Service Provider Interface）实现高度可扩展性，例如自定义协议、过滤器等。 ```java // 自定义Filter实现 @Activate(group = {"provider", "consumer"}) public class CustomFilter implements Filter { public Result invoke(Invoker<?> invoker, Invocation invocation) { // 前置逻辑 Result result = invoker.invoke(invocation); // 后置逻辑 return result; } } ``` ### 核心流程图 ``` +---------+ Register +-------------+ | Provider| --------------------->| Registry | +---------+ +-------------+ ^ | | Notify | Subscribe | v +---------+ Invoke +-------------+ | Consumer| <---------------------| Registry | +---------+ +-------------+ ``` **总结**：Dubbo通过注册中心解耦服务依赖，通过动态代理和网络通信实现透明化RPC，结合负载均衡和SPI机制提供高可用性和扩展性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

迅捷的软件产品制作专家

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值