rocketmq-名词解释(四)

分布式事务-RocketMQ消息事务设计思路及Demo 前言 在之前的文章中介绍了基于Seata实现的分布式事务的解决方案(AT、TCC模式),有兴趣的看一下 https://blog.youkuaiyun.com/hosaos/article/details/89136666 这两种方案都是偏向于强一致性解决方案。协调器会不断循环各个资源RM来进行事务的同时提交,回滚。 而往往很多场景不求事务的强一致性,只需达到事务的最终一致性,这时候,事务消息可以很好的满... 阅读详情

系列文章目录

rocketmq-安装篇(一)
rocketmq-手把手搭建集群模式(二)
rocketmq-各类型消息实战(三)
rocketmq-名词解释(四)
rocketmq-消息存储(五)


here we go … …

在这里插入图片描述

消息模型(Message Model)

RocketMQ主要由 Producer、Broker、Consumer 三部分组成,其中Producer 负责生产消息,Consumer 负责消费消息,Broker 负责存储消息。Broker 在实际部署过程中对应一台服务器,每个 Broker 可以存储多个Topic的消息,每个Topic的消息也可以分片存储于不同的 Broker。Message Queue 用于存储消息的物理地址,每个Topic中的消息地址存储于多个 Message Queue 中。ConsumerGroup 由多个Consumer 实例构成。

名字服务(Name Server)

名称服务充当路由消息的提供者。生产者或消费者能够通过名字服务查找各主题相应的Broker IP列表。多个Namesrv实例组成集群,但相互独立,没有信息交换。

代理服务器(Broker Server)

消息中转角色,负责存储消息、转发消息。代理服务器在RocketMQ系统中负责接收从生产者发送来的消息并存储、同时为消费者的拉取请求作准备。代理服务器也存储消息相关的元数据,包括消费者组、消费进度偏移和主题和队列消息等。

消息生产者(Producer)

负责生产消息,一般由业务系统负责生产消息。一个消息生产者会把业务应用系统里产生的消息发送到broker服务器。RocketMQ提供多种发送方式,同步发送、异步发送、顺序发送、单向发送。同步和异步方式均需要Broker返回确认信息,单向发送不需要。

Producer实例

Producer的一个对象实例,不同的Producer实例可以运行在不同进程内或者不同机器上。Producer实例线程安全,可在同一进程内多线程之间共享。

Consumer

消息消费者,也称为消息订阅者,负责接收并消费消息。可分为两类:

  • Push Consumer:消息由消息队列broker推送至Consumer。
  • Pull Consumer:该类Consumer主动从消息队列broker拉取消息。目前仅TCP Java SDK支持该类Consumer。

拉取式消费(Pull Consumer)

Consumer消费的一种类型,应用通常主动调用Consumer的拉消息方法从Broker服务器拉消息、主动权由应用控制。一旦获取了批量消息,应用就会启动消费过程。

推动式消费(Push Consumer)

Consumer消费的一种类型,该模式下Broker收到数据后会主动推送给消费端,该消费模式一般实时性较高。

生产者组(Producer Group)

同一类Producer的集合,这类Producer发送同一类消息且发送逻辑一致。如果发送的是事物消息且原始生产者在发送之后崩溃,则Broker服务器会联系同一生产者组的其他生产者实例以提交或回溯消费。

消费者组(Consumer Group)

同一类Consumer的集合,这类Consumer通常消费同一类消息且消费逻辑一致。消费者组使得在消息消费方面,实现负载均衡和容错的目标变得非常容易。要注意的是,消费者组的消费者实例必须订阅完全相同的Topic。RocketMQ 支持两种消息模式:集群消费(Clustering)和广播消费(Broadcasting)。

主题(Topic)

表示一类消息的集合,每个主题包含若干条消息,每条消息只能属于一个主题,是RocketMQ进行消息订阅的基本单位。

消息(Message)

消息系统所传输信息的物理载体,生产和消费数据的最小单位,每条消息必须属于一个主题。RocketMQ中每个消息拥有唯一的Message ID,且可以携带具有业务标识的Key。系统提供了通过Message ID和Key查询消息的功能。

Message ID

消息的全局唯一标识(实际情况下MessageId有可能出现冲突(重复)),由消息队列RocketMQ版系统自动生成,唯一标识某条消息。

Message Key

消息的业务标识,由消息生产者(Producer)设置,唯一标识某个业务逻辑。

Tag

为消息设置的标志,用于同一topic下区分不同类型的消息。标签能够有效地保持代码的清晰度和连贯性,并优化RocketMQ提供的查询系统。消费者可以根据Tag实现对相同topic的不同消费逻辑,实现更好的扩展性。

分区

即Topic Partition,物理上的概念。每个Topic包含一个或多个分区。一个topic对应多个broker。

队列

每个Topic下会由一到多个队列来存储消息。每个Topic对应队列数与消息类型以及实例所处地域(Region)相关。

Exactly-Once投递语义

Exactly-Once投递语义是指发送到消息系统的消息只能被Consumer处理且仅处理一次,即使Producer重试消息发送导致某消息重复投递,该消息在Consumer也只被消费一次

集群消费(Clustering)

集群消费模式下,相同Consumer Group的每个Consumer实例平均分摊消息。

广播消费(Broadcasting)

广播消费模式下,相同Consumer Group的每个Consumer实例都接收全量的消息。

定时消息

Producer将消息发送到消息队列RocketMQ版服务端,但并不期望这条消息立马投递,而是推迟到在当前时间点之后的某一个时间投递到Consumer进行消费,该消息即定时消息

延时消息

Producer将消息发送到消息队列RocketMQ版服务端,但并不期望这条消息立马投递,而是延迟一定时间后才投递到Consumer进行消费,该消息即延时消息。

事务消息

消息队列RocketMQ版提供类似X/Open XA的分布事务功能,通过消息队列RocketMQ版的事务消息能达到分布式事务的最终一致。

顺序消息

消息队列RocketMQ版提供的一种按照顺序进行发布和消费的消息类型,分为全局顺序消息和分区顺序消息。

全局顺序消息-严格顺序消息

对于指定的一个Topic,所有消息按照严格的先入先出(FIFO)的顺序进行发布和消费,发布和消费的顺序一致。

分区顺序消息

对于指定的一个Topic,所有消息根据Sharding Key进行区块分区。同一个分区内的消息按照严格的FIFO顺序进行发布和消费。Sharding Key是顺序消息中用来区分不同分区的关键字段,和普通消息的Message Key是完全不同的概念。分区顺序消费模式下,消费者通过同一个消费队列收到的消息是有顺序的,不同消息队列收到的消息则可能是无顺序的。

消息堆积

Producer已经将消息发送到消息队列RocketMQ版的服务端,但由于Consumer消费能力有限,未能在短时间内将所有消息正确消费掉,此时在消息队列RocketMQ版的服务端保存着未被消费的消息,该状态即消息堆积。

消息过滤

Consumer可以根据消息标签(Tag)对消息进行过滤,确保Consumer最终只接收被过滤后的消息类型。消息过滤在消息队列RocketMQ版的服务端完成。

消息轨迹

在一条消息从Producer发出到Consumer消费处理过程中,由各个相关节点的时间、地点等数据汇聚而成的完整链路信息。通过消息轨迹,您能清晰定位消息从Producer发出,经由消息队列RocketMQ版服务端,投递给Consumer的完整链路,方便定位排查问题。

重置消费位点

以时间轴为坐标,在消息持久化存储的时间范围内(默认3天),重新设置Consumer对已订阅的Topic的消费进度,设置完成后Consumer将接收设定时间点之后由Producer发送到消息队列RocketMQ版服务端的消息。

死信队列

死信队列用于处理无法被正常消费的消息。当一条消息初次消费失败,消息队列RocketMQ版会自动进行消息重试;达到最大重试次数后,若消费依然失败,则表明Consumer在正常情况下无法正确地消费该消息。此时,消息队列RocketMQ版不会立刻将消息丢弃,而是将这条消息发送到该Consumer对应的特殊队列中。
消息队列RocketMQ版将这种正常情况下无法被消费的消息称为死信消息(Dead-Letter Message),将存储死信消息的特殊队列称为死信队列(Dead-Letter Queue)。


我向你奔赴而来,你就是星辰大海

基于Solidworks的三维光路结构示意图绘制实例演示-技术细节 阅读详情

相关推荐

从医疗成像到工业检测:CMOS图像传感器NIR技术的最新应用案例解析

本文深入解析了CMOS图像传感器NIR技术在医疗成像和工业检测中的最新应用案例。通过提升量子效率至70%,NIR技术实现了血管可视化、材料缺陷检测等突破性进展,显著提高了医疗诊断精度和工业质检效率。文章还探讨了系统集成关键考量和前沿发展趋势。

weixin_30879169的博客 92

RocketMQ——PullConsumer拉取消息

在RocketMQ中一般有两种获取消息的方式,一个是拉(pull,消费者主动去拉取),一个是推(push,主动推送给消费者),如下图push-优点:及时性、服务端统一处理实现方便push-缺点:容易造成堆积、负载性能不可控pull-优点:获得消息状态方便、负载均衡性能可控pull-缺点:及时性差前几篇博文主要以push为例的,本博文以pull为例.1.Producterpackage com.gw...

东天里的冬天 1万+

数据结构与算法 —— 最短路径Dijkstra算法(迪杰斯特拉)详细图解以及python实现

前两章我们讲到了关于图的基本知识,和广度/深度优先搜索。本章,我们将介绍加权图和最短路径的相关知识。最短路径和最小生成树是图论中常见的问题。最短路径是指在一个图中找到两个节点之间的最短路径,最小生成树是指在一个图中找到一个连通子图,使得所有节点都能够互相到达,且总权值最小。最短路径算法常见的有floyd算法(弗洛伊德算法)和 dijkstra算法(迪杰斯特拉)。本文只介绍dijkstra算法。最短路径运用非常广泛,比如在导航系统中,确定两个地点间哪条路线最短;

‘’ 2万+

RocketMQ--消费者PullConsumer使用

RocketMQ–消费者PullConsumer使用 Producer package com.bfxy.rocketmq.consumer.pull; import org.apache.rocketmq.client.exception.MQClientException; import org.apache.rocketmq.client.producer.DefaultMQProducer; import org.apache.rocketmq.client.producer.SendResu

puwan4207的博客 1969

头歌操作系统2023春季课堂练习2.1:外部中断

本关任务:通过相关知识以及实验回答:版本 1 内核的第 6 次时钟中断发生时,断点和恢复点(指令地址)分别是多少?回答问题:当第一行 0/1 字符全部输出完毕的时候一共发生了几次时钟中断,即第一行完全填满时 jiffies 记录的已发生次数为多少?本关任务:通过实际操作回答在输出第一行 0/1 字符的过程中(如下图所示),共发生了几次时钟中断?2.此时 bochs 虚拟机输出的 0/1 字符串是什么?(只填写数字,不填写空格!根据相关知识进行实际操作,一直输入 c 直到 0/1 将第一行完全填满。

weixin_64821608的博客 8137

基于Arduino与Velostat的智能鞋垫:DIY足底压力监测系统全解析

压力传感器是物联网和健康监测领域的基础元件,其核心原理是将物理压力转换为可测量的电信号。通过压阻效应,材料的电阻值随压力变化,从而实现压力感知。这项技术为低成本、定制化的健康监测方案提供了可能,尤其在运动分析和康复训练中具有重要价值。本文聚焦于利用Velostat压敏材料和Arduino平台,详细解析如何从传感器制作、信号调理到无线数据传输,构建一套完整的足底压力监测系统。文中深入探讨了传感器阵列构建、信号滤波等关键技术,并针对常见问题提供了实用的解决方案,为创客和开发者实现可穿戴健康监测设备提供了清晰的工

weixin_32818781的博客 403

RocketMQ特性、专业术语(Producer,Producer Group,Consumer Group,Topic,Message,Tag,Broker,Name Server)等

RocketMQ 是什么 Github 上关于 RocketMQ 的介绍: RcoketMQ 是一款低延迟、高可靠、可伸缩、易于使用的消息中间件。具有以下特性: 支持发布/订阅(Pub/Sub)和点对点(P2P)消息模型 在一个队列中可靠的先进先出(FIFO)和严格的顺序传递 支持拉(pull)和推(push)两种消息模式 单一队列百万消息的堆积能力 支持多种消息协议,如 JMS、MQTT 等

涂作权的博客 2万+

解密微信DAT图片:一键转换JPG/PNG/GIF的实用指南

本文详细解析微信DAT图片的加密机制及转换方法,提供从定位文件到使用WeijieSoft工具一键转换JPG/PNG/GIF的完整指南。涵盖新旧版微信存储路径差异、批量处理技巧及常见问题解决方案,帮助用户高效恢复重要图片并释放存储空间。

weixin_29305337的博客 3626

RocketMQ源码分析之pull模式consumer

RocketMQ源码分析之pull模式consumerDefaultMQPullConsumerDefaultLitePullConsumer订阅方式的消费流程分配方式的消费流程重点方法分析DefaultMQPullConsumer与DefaultLitePullConsumer对比 DefaultMQPullConsumer DefaultMQPullConsumer的实现及使用比较简单(已被废弃),从下面示例中可以看到消息的消费主要包含以下几点: 构造DefaultMQPullConsumer对象,为

不爱学习的小妞博客 2778

FPGA图像处理之直方图均衡实现

直方图均衡的基本原理,就是对在图像中像素个数多的灰度值(即对画面起主要作用的灰度值)进行拉伸,而对像素个数较少的灰度值(即对画面不起主要作用的灰度值)进行合并,从而提高对比度,使图像清晰,达到增强的目的。综合以上两个条件,累积分布函数是个好的选择,因为累积分布函数是单调增函数(控制大小关系),并且值域是0到1(控制越界问题),所以直方图均衡化中使用的是累积分布函数。

FZWzsl的博客 1429

零基础DSP实战TMS320F28035:第九节,ADC比较器&EPWM

ADC比较器框图如下所示:-电压-----------------------------输出-电压A>电压B------------------ 1-电压A

sinat_30943509的博客 2537

如何保证RocketMQ消息不丢失

前言 随着业务的发展,系统功能也越来也复杂。渐渐的我们会遇到这样的问题。例如,系统和多个外部系统交互对接耗时耗力、系统某个模块流程处理时间过长业务越来越接受不了、某个模块在某个时间点流量太大系统时刻有宕机的风险等等。对于这些问题要想解决,系统此时引入消息队列或许是一个不错的选择。我们都知道消息队列有三大技能:解耦、异步、削峰。看起来可以完美的解决上面提到的问题,但是你们的系统真的适合消息队列么? 系统在引入消息队列之后到底会带来哪些不好的影响,我们今天来说一说: 系统可用性降低,增加运维难度

一起coding,一起嗨。 5090

华为OD机考双机位A卷 -陷阱方格/机器人走迷宫问题Java & Python& JS & C/C++ & GO )

华为OD机考双机位A卷 -陷阱方格/机器人走迷宫问题(OD上机考试双机位A卷)。提供在线OJ刷题。Java、C++、Python、GO语言、C语言、JavaScript题解,并提供完整思路讲解。

算法大师! 2967

rocketmq 名词解释

名词解释 Topic 消息主题,一级消息类型,通过 Topic 对消息进行分类。详情请参见Topic 与 Tag 最佳实践。 消息(Message) 消息队列中信息传递的载体。 Message ID 消息的全局唯一标识,由消息队列 RocketMQ 版系统自动生成,唯一标识某条消息。 Message Key 消息的业务标识,由消息生产者(Producer)设置,唯一标识某个业务逻...

极客on之路 585

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

RocketMQ 基础入门

RocketMQ作为一款纯java、分布式、队列模型的开源消息中间件,支持事务消息、顺序消息、批量消息、延时消息、消息回溯等前身是MetaQ,是阿里研发的一个队列模型的消息中间件,后开源给apache基金会成为了apache的顶级开源项目,具有高性能、高可靠、高实时、分布式特点。

weixin_44132970的博客 2741

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

RocketMQ之名词解释

RokcetMQ 现在市面上功能都很完善的一款分布式,队列模型的消息中间件 首先来介绍一下Rocket支持的几个重要的特性: 订阅与发布: 消息的发布是指某个生产者向某个topic发送消息; 消息的订阅是指某个消费者关注了某个topic中带有某些tag的消息,进而从该topic消费数据。 消息顺序: 消息有序指的是一类消息消费时,能按照发送的顺序来消费。例如:一个订单产生了三条消息分别...

图图不糊涂的博客 1065

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

十分钟全面了解RocketMQ

RocketMQ总结 简介: RocketMQ是一款使用java编写的消息中间件,主要提供了消息发布、消息订阅、消费消息的使用功能,方便对业务进行解耦 本文将从以下几个方面介绍RocketMq 名词解释 架构与业务流程 角色功能说明 消息类型 负载均衡 名词解释 1.主题(Topic) 主题,代表某一类消息的集合,一个Topic下会有若干个消息,一个消息只属于一个Topic,是消息订阅的基本单位 Topic是逻辑上的概念,每个Topic会有多个消息队列 messageQueue,而这些消息队列又可以分布

小明同学 3411

1.RocketMq名词解释

1.1 Topic和tag Topic:主题,对不同的的业务消息进行消息的一级分类 Tag:标签,在topic的基础上进行二级分类 订阅关系一致性 消息队列 RocketMQ 里的一个消费者 Group ID 代表一个 Consumer 实例群组,同一个集群的消费者要满足。 订阅的 Topic 必须一致; 订阅的 Topic 中的 Tag 必须一致。 1.1.1 消息过滤 ...

xinanrusu的博客 1712

RocketMq3 架构及名词解释

Broker 部署相对复杂,Broker 分为 Master 与 Slave,一个 Master 可以对应多个 Slave,但是一个 Slave 只能对应一个 Master,Master 与 Slave 的对应关系通过指定相同的BrokerName,不同的 BrokerId 来定义,BrokerId 为 0 表示 Master,非 0 表示 Slave。Master 也可以部署多个。...

Miaoshuowen的博客 567

RocketMq详解:一、RocketMQ 介绍及基本概念

RocketMQ 是阿里巴巴开源的分布式消息中间件,现已成为 Apache 软件基金会的顶级项目。支持事务消息、顺序消息、批量消息、定时消息、消息回溯等。它里面有几个区别于标准消息中件间的概念,如Group、Topic、Queue等。系统组成则由Producer、Consumer、Broker、NameServer等组件组成。

zhiyikeji的博客 2万+

rocketmq部署及配置介绍

1. 概述 1.1  编写目的 本文介绍了RocketMq的部署步骤、运行步骤以及Afa中RocketMq接入接出的配置说明以及组件使用说明,主要应用于使用RocketMq进行消息发送以及消费的场景。   1.2 名词解释 术语和缩写 解释 备注 nameServer 专门为RocketMQ设...

licusliu的博客 2万+

RocketMQ-名词和架构

RocketMQ rocketMQ是做什么的我就不用解释了吧,以及他的背景。本文主要是为了让大家明白RocketMQ的工作原理。 主要名词解释 ProducerGroup由一组Producer组成 Topic Broker Queue ConsumerGroup

不是很懂 2万+

RocketMQ 05 名词解释

RocketMQ 05 名词解释

Jack方 370

RocketMQ入门(一)

今天的博客主题 MQ消息中间件 --》RocketMQ --》RocketMQ入门(一) 本文主要了解认识RocketMQ 对于新接触RocketMQ的同学来说 入门篇的五篇文章真的有必要好好看一下去理解它。 我是之前了解过ActiveMQ,只是会应用,没有深入的了解。这个我想达到一个熟悉+的程度 现在工作项目引入RocketMQ,必须深入了解精通,就结合官方的文档及源...

小萝卜.的博客 678

【RocketMQ】源码系列研究【004】rocketmq 常用名词解释以及相关常规用法

核心概念 Topic:消息主题,一级消息类型,生产者向其发送消息。 生产者:也称为消息发布者,负责生产并发送消息至 Topic。 消费者:也称为消息订阅者,负责从 Topic 接收并消费消息。 消息:生产者向 Topic 发送并最终传送给消费者的数据和(可选)属性的组合。 消息属性:生产者可以为消息定义的属性,包含 Message Key 和 Tag。 Group:一类生产者或消费者,...

x734400146的专栏 325

RocketMQ学习笔记 名词解释

rocketMQ中,主要使用topic和tag对消息进行分类。其中,topic是一级分类,而tag是进一步的二级分类。 每个Topic下会由一到多个队列来存储消息 一个group下能有多个consumer。每个consumer生产或消费同一类消息,且消息发布或订阅的逻辑一致 集群消费 一个Group ID所标识的所有Consumer平均分摊消费消息。例如某个Topic有9条消息,一个Group ID有3个Consumer实例,那么在集群消费模式下每个实例平均分摊,只消费其中的3条消息。 广播消费 一个Gr.

qj4865的博客 433
上一篇: rocketmq-消息存储(五)
下一篇: 多线程与高并发-线程入门(一)
you_are_the_one
博客等级 码龄15年 50粉丝 25原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值