metaq的consumer执行机制

最新推荐文章于 2022-06-14 17:17:57 发布

最新推荐文章于 2022-06-14 17:17:57 发布 · 400 阅读

文章标签：

#java

本文详细介绍了MetaQ消息队列中消费者的工作原理：默认采用单线程执行任务；订阅多个主题时同样以单线程处理；消费失败的消息会被重新放入阻塞队列，并根据重试次数调整延迟时间；当重试次数超过限制时将被丢弃。

1.metaq如果不指定executor，则默认是单线程执行的。

2.如果一个consumer订阅了多个topic，也是单线程执行。

3.如果消费抛出异常，会重新加入到blockqueue（根据delayTimeStamp排序的优先队列），并更新延迟时间

4.当重试次数（在postReceiveMessage赋值，判断依据是iterator的offset是否为0）超过配置的最大值（默认为5次），则记录日志，丢弃消息

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

iteye_20393

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

MetaQ文档学习

fanc的博客

07-02

1365

消息中间件和RPC(HSF)异同 RPC适用场景调用时双向的调用方需要依赖多个服务提供结果消息队列适用场景消息发送不受限于消息消费方处理速度发送方通过queue进行消息堆积，防止击穿下游服务多个下游服务可以订阅同一个topic进行处理处理耗时操作，比如文件复制，网络下载等等。概念和术语消息生产者简称producer，负责消息产生并发送到meta服务器消息消费者简称...

阿里资深架构师带你认识，MetaQ 消息中间件

qq_39662660的博客

11-20

1797

MetaQ MetaQ 是一款分布式、队列模型的消息中间件。分为 Topic 与 Queue 两种模式，Push 和 Pull 两种方式消费，支持严格的消息顺序，亿级别的堆积能力，支持消息回溯和多个维度的消息查询。Java学习圈子MetaQ发展历史 2007年，淘宝实施了“五彩石”项目，将交易系统由单机交易升级到了分布式，这个过程中产生了 Notify。 2010年，阿里巴巴 B2B 部门基...

参与评论您还未登录，请先登录后发表或查看评论

[metaq]Consumer

吊丝码农

03-22

403

Metaq是一个类是kafka的消息系统，开源地址https://github.com/killme2008/Metamorphosis。基于Pull的消息系统，consumer端保持了很多逻辑，比如当前拉取消息的offset，loadbalance等，使用zookeeper作为coordination。简单类图核心类ZKLoadRebalanceListener，负责集群感知，...

metaq源码解读之consumer的balance策略

howmuchiloveyouhow的博客

04-14

380

说到metaq的消费者balance策略，不得不说一下分区的有关信息。一个topic可以划分为n个分区。每个分区是一个有序的、不可变的、顺序递增的队列。分区一方面是为了增大消息的容量（可以分布在多个分区上存，而不会限制在单台机器存储大小里），二方面可以类似看成一种并行度。消费者的负载均衡与topic的分区数据紧密相关，需要考虑几种情...

一次线上线程数飙高导致cpu飙高的解决思路，rocketmq

jiewenike的专栏

08-09

5643

周末放假在家一直接收，系统告警的消息，联系运维重启了一下应用，到了周一早上又在告警。 1.联系运维导出线程dump 2.发现大量的mq线程堆积发现NettyClientWorkThread 有两千多在等待，就在想这个线程到底是干嘛用的， 3.跟踪源码发现 r 发现了线程dump 中输出代码的位置，这时候就想，这个是什么东西调用的继续跟踪源码发现，在mq startp ...

MetaQ学习笔记

zhejingyuan的专栏

04-21

773

MetaQ学习笔记是什么？一款分布式的消息中间件。它的核心作用就是解耦、异步和并行。异步解耦，比如商品中库存发生了变更，那么就要同步搜索，如果没有消息，可能就要RPC通讯调用，这样就产生了网络IO，远程调用的资源损耗，有了消息中间件，只需要发送一个消息就ok了。另外实现的一个重要功能就是削峰填谷，比如一个秒杀系统，前端接受秒杀流量一般非常大，但是秒杀的时候需要处理的业务逻辑很复杂，...

metaq 消费者机制

chixingmang8023的博客

10-24

480

重点代码如下： publicclassAsyncConsumer{ publicstaticvoidmain(finalString[]args)throwsException{ //Newsessionfactory,强烈建议使用单例 ...

淘宝消息队列MetaQ实践教程：安装配置与消息收发

4. **执行Demo**：完成配置后，通过运行Demo，用户可以体验到消息的生产和消费过程，从而验证整个消息队列系统的运行状态。 5. **生产者和消费者消息处理**：在MetaQ中，生产者负责发送消息到指定的topic，而消费者...

消息中间件Notify和MetaQ-阿里中间件

+W❤：bjmsb2019

08-27

337

Notify是淘宝自主研发的一套消息服务引擎，是支撑双11最为核心的系统之一，在淘宝和支付宝的核心交易场景中都有大量使用。消息系统的核心作用就是三点：解耦，异步和并行。下面让我以一个实际的例子来说明一下解耦异步和并行分别所代表的具体意义吧：假设我们有这么一个应用场景，为了完成一个用户注册淘宝的操作，可能需要将用户信息写入到用户库中，然后通知给红包中心给用户发新手红包，然后还需要通知支付宝给用户准备对应的支付宝账号，进行合法性验证，告知sns系统给用户导入新的用户等10步操作。那么针对这个场景，一个最

RocketMQ生产者与消费者深入解析：核心流程与机制详解

Consumer在接收到消息后，会根据配置执行相应的处理逻辑。 3. **Broker**（代理服务器）：这部分深入解析Broker的运行机制，包括启动过程、消息存储、数据恢复（load&recover）、高可用性和主备切换（HA&master...

RocketMQ详解(10)——Consumer详解

热门推荐

weixin_34452850的博客

09-15

1万+

RocketMQ详解(10)——消费模式详解一. 不同类型的消费者根据使用者对读取操作的控制情况，消费在可以分为两种类型： DefaultMQPushConsumer：有系统控制读取操作，收到消息后自动调用监听器回调处理。 DefaultMQPullConsumer：读取操作中的大部分功能由使用者自主控制。二. DefaultMQPushConsumer的使用使用D...

Metaq的一些简单机制

C_yuyan1987的专栏

03-06

2485

目前用到一些Metaq的东西，虽然对Metaq的使用很少，并且不是特别深，但还是觉得应该针对其消息的分发以及简单的机制进行一些记录。 Metaq 的简单介绍： MetaQ（全称Metamorphosis）是一个高性能、高可用、可扩展的分布式消息中间件，,MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性，适用于大吞吐量、顺序消息、广播和日志数据传输等场景，METAQ在阿里巴巴各个

流量控制理论与Sentinel

qq_45756124的博客

06-14

449

适用：漏桶策略适用于间隔性突发流量且流量不用即时处理的场景代表框架：Sentinel 中的匀速排队限流策略，分布式追踪系统 Jaeger 中采集策略为速率限制类型。有一个固定容量的水桶，桶底有一个小洞，水桶可以接收任意速率的水流，但无论水桶里有多少水，水从小洞流出的速率始终不变，桶里的水满了之后，水就会溢出。优点：平滑流量，做到了流量整形，即无论流量多大，即便是突发的大流量，输出依旧是一个稳定的流量。缺点：对于突发流量的情况，因为服务器处理速度与正常流量的处理速度一致，会丢弃比较多的请求。适用：有突

metaq原理简介

weixin_30484739的博客

10-09

351

1. 前言本文档旨在描述RocketMQ的多个关键特性的实现原理，并对消息中间件遇到的各种问题进行总结，阐述RocketMQ如何解决这些问题。文中主要引用了JMS规范与CORBA Notification规范，规范为我们设计系统指明了方向，但是仍有不少问题规范没有提及，对于消息中间件又至关重要。RocketMQ并不遵循任何规范，但是参考了各种规范与...

RocketMQ 消费端限流机制

八荒六合唯我独尊

10-20

5678

RocketMQ 消息消费端会从 3 个维度进行限流：消息消费端队列中积压的消息超过 1000 条消息处理队列中尽管积压没有超过 1000 条，但最大偏移量与最小偏移量的差值超过 2000 消息处理队列中积压的消息总大小超过 100M 为了方便理解上述三条规则的设计理念，我们首先来看一下消费端的数据结构，如下图所示： PullMessageService 线程会按照队列向 Broker 拉取一批消息，然后会存入到 ProcessQueue 队列中，即所谓的处理队列，然后再提交到消费端线程池中

metaq使用memcache作为消费者去重的风险

iteye_20393的博客

01-03

304

metaq使用的是消费者分组+offset作为判断去重标志的key的，代码如下： private String cacheKey(final Long id, String group) { return group + id; }其中id为服务端传递过来的msgid，生成规则可以看http://blog.youkuaiyun.com/liudunx...

metaq架构原理

帅性而为1号的博客

10-14

1979

1、metaQ架构原理 2、Metaq原理与应用 3、消息中间件Notify和MetaQ-阿里中间件 4、中间件学习——metaq 5、中间件、MetaQ入门学习 6、分布式消息中间件 MetaQ 作者庄晓丹专访 7、MetaQ技术内幕——源码分析系列

rocketMq的延迟消息分析

jtjs1989的专栏

07-16

1756

之前在项目中引入了RocketMq这个消息中间件，用于系统异步以及系统间解耦，在很多场景还用到了rocketMq的延迟消息功能，一直很想知道延迟消息的实现机制，于是去翻看了一下源码，得到真相先来说说整体逻辑吧，rocketMq中需要预先定于延迟级别，如下： 1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h 你可以定于你自...

metaQ软件安装包简易部署指南

3. **配置环境变量**：解压后，用户可能需要配置环境变量以便能够从任何目录执行metaQ命令。这通常涉及到编辑用户的`.bashrc`或`.bash_profile`文件，并添加如下行： ``` export PATH=$PATH:/path/to/metaq/bin `...