• 博客(129)
  • 收藏
  • 关注

原创 消息队列 RocketMQ 5.x 系列产品重磅发布

腾讯云消息队列 RocketMQ 5.x 系列商业化产品作为 TDMQ 产品家族的新成员在本次大会上重磅发布。

2023-09-13 11:27:45 549

原创 腾讯云 RocketMQ 5.x:如何兼容 Remoting 全系列客户端

为此,RocketMQ 5.x 引入了 POP 消费模式,将负载均衡和队列位点管理等逻辑从客户端迁移到了服务端,并在全新推出的基于 gRPC 协议的轻量化 SDK 中对 POP 模式做了适配,实现了消息粒度的消费负载均衡。针对上述挑战,腾讯云消息队列 RocketMQ 版提出了虚拟队列兼容方案,通过队列虚拟化和消费模式的无感切换,实现了对 Remoting 协议客户端的完整支持,为大规模存量用户快速获取新架构带来的技术红利提供了高效路径。RocketMQ 支持队列顺序消费以满足部分业务场景。

2025-12-10 17:42:01 764

原创 Kafka 集群上云新突破:腾讯云 CKafka 联邦迁移方案

当前版本方案在迁移完成后,仍需客户手动切换接入点,对于部分全量切换的客户而言,盘点 Kafka 集群的上下游的接入情况,修改接入点并重启是异常困难的。本文主要介绍自建 Kafka 集群平滑无损上云的场景,腾讯云 CKafka 联邦集群迁移方案支持通过将自建 Kafka 集群与云上 CKafka 集群构建成一个逻辑统一的联邦集群,实现平滑无损的集群迁移。通过自建 Kafka 集群的信息,腾讯云联邦工具会将 CKafka 集群与自建集群构建成联邦集群,同一个联邦集群内的节点可互相通讯。

2025-12-10 17:40:31 731

原创 TDMQ CKafka 版客户端实战指南系列之二:消费消息最佳实践

在消费篇中,我们将详细阐述消费消息的基本流程、负载均衡机制、应对重平衡的策略、订阅关系的管理、消费位点的控制、消息重复与消费幂等性的处理、消费失败的应对、消费延迟与堆积的解决,以及如何通过调整套接字缓冲区、模拟消息广播、实现消息过滤等高级技巧,优化 TDMQ CKafka 版的消费性能。

2025-09-19 15:25:30 923

原创 TDMQ CKafka 版客户端实战指南系列之一:生产最佳实践

对于开发者而言,深入了解并熟练掌握 TDMQ CKafka 版的生产消费实践至关重要。它不仅能够帮助我们构建高效、稳定的数据传输和处理系统,还能在面对海量数据时,确保系统的性能和可靠性。本文将详细介绍 TDMQ CKafka 版的生产实践教程,包括生产消息的各个环节以及相关的参数配置和最佳实践,希望能为大家在实际项目中应用 TDMQ CKafka 版提供有益的参考和指导。

2025-09-19 14:45:08 757

原创 TDMQ RocketMQ 版秒级定时消息原理解析

本文将带您深入探索 TDMQ RocketMQ 版秒级定时消息的实现原理:首先从典型业务场景切入,看看定时消息在分布式定时调度、电商等场景的应用;接着回顾定时消息的技术演进历程,了解定时消息如何从基础延时功能发展为高精度调度系统;最后,深入核心架构设计,解析定时消息技术原理,并介绍腾讯云基于 RocksDB 版本定时消息多级时间轮的优化创新,揭秘秒级定时投递的底层逻辑。

2025-07-23 14:37:21 731

原创 深度剖析 TDMQ RabbitMQ 版经典队列底层存储机制

理解经典队列的存储架构,不仅是掌握 RabbitMQ 核心原理的关键,更为生产环境的运维优化提供了理论支撑。本文将从文件目录结构、存储格式定义、读写流程到运维实践策略,全面解析经典队列的底层存储实现逻辑,帮助读者深入理解其在消息生命周期管理中的核心作用。

2025-07-16 16:12:04 1114

原创 TDMQ RocketMQ 版事务消息原理解析

在分布式架构系统中,确保跨服务应用的数据一致性始终是系统设计的核心挑战之一。TDMQ RocketMQ 版作为一款基于 Apache RocketMQ 构建的企业级消息中间件,凭借其高可用性和高可靠性特点,通过提供完善的事务消息机制,为这一难题提供了专业的解决方案。本文将结合核心源码,深入解析 RocketMQ 事务消息的实现原理,希望能帮助开发者去构建更健壮的分布式事务系统。

2025-07-08 11:09:47 848

原创 限流系列之五:TDMQ RabbitMQ Serverless 版限流机制深度解析与实践指南

腾讯云 TDMQ RabbitMQ Serverless 版通过分布式限流架构为在线业务提供高可用的消息服务保障。

2025-06-26 11:11:01 1209

原创 高弹性、高可靠!腾讯云 TDMQ RabbitMQ Serverless 版全新发布

2025年6月起,腾讯云 TDMQ RabbitMQ 版正式推出 Serverless 版本,该版本基于自研的存算分离架构,兼容 AMQP 0-9-1 协议和开源 RabbitMQ 的各个组件与概念,且能够规避开源版本固有的不抗消息堆积、脑裂等稳定性缺陷,具有稳定、安全、灵活扩缩容等优势。本文将全面解析 TDMQ RabbitMQ Serverless 版的核心特性、技术优势及售卖形态。

2025-06-26 11:08:42 1171

原创 高弹性、高可靠!腾讯云 TDMQ RabbitMQ Serverless 版全新发布

2025年6月起,腾讯云 TDMQ RabbitMQ 版正式推出 Serverless 版本,该版本基于自研的存算分离架构,兼容 AMQP 0-9-1 协议和开源 RabbitMQ 的各个组件与概念,且能够规避开源版本固有的不抗消息堆积、脑裂等稳定性缺陷,具有稳定、安全、灵活扩缩容等优势。本文将全面解析 TDMQ RabbitMQ Serverless 版的核心特性、技术优势及售卖形态。

2025-06-26 10:23:14 862

原创 限流系列之二:TDMQ CKafka 版限流方案详解及最佳实践

本文将详细探讨 CKafka 限流的相关内容,包括限流机制、最佳实践方法以及常见问题的分析,帮助用户更好地使用 CKafka,保障系统的稳定性和性能。

2025-06-17 17:11:45 883

原创 Apache RocketMQ 消息过滤的实现原理与腾讯云的使用实践

本文将系统阐述 Apache RocketMQ 消息过滤机制的技术架构与实践要点。首先从业务应用场景切入,解析消息过滤的核心价值;接着介绍 Apache RocketMQ 支持的两种消息过滤实现方式,帮助读者建立基础认知框架;随后深入剖析 SQL 语法过滤与标签(Tag)过滤的技术实现的核心原理以及规则限制;最后介绍腾讯云在消息过滤性能优化方面的具体实践。

2025-06-17 16:43:54 1196

原创 限流系列之三:TDMQ for Apache Pulsar 限流技术深度解析

TDMQ Pulsar 版设计了完善的限流机制,以保护集群资源,确保系统的全局稳定性。本文将深入探讨 TDMQ Pulsar 版的集群级与主题分区限流技术,并提供实践指南。

2025-06-17 15:56:56 887

原创 TDMQ for RocketMQ MCP Server 实战,一站式查询提升运维效率

在 RocketMQ 的日常运维中,我们经常需要访问不同的数据源来获取诊断信息。传统的方式往往需要编写复杂的查询语句,或者在多个系统之间切换,效率低下。为了解决这个问题,我们使用 LLM 结合 MCP 来实现高效的数据访问。通过这种方式,可以用自然语言一站式查询所需的信息,提高运维效率。

2025-06-17 14:49:08 884

原创 限流系列之四:TDMQ RocketMQ 版限流机制详解与实践教程

本文将详细解析 TDMQ RocketMQ 版的限流机制,包括限流行为和限流实现原理。同时,结合实际案例,提供客户端实践教程,帮助开发者更好地理解并应用限流机制,避免因集群流控导致的业务受损。

2025-06-17 14:21:21 877

原创 TDMQ RocketMQ 版订阅关系一致性原理与实践

本文将深入解析订阅关系一致性的核心要点,从定义与约束机制,到底层实现原理与优化实践,再结合真实案例分享 TDMQ RocketMQ 版针对订阅关系不一致问题的解决方案,帮助开发者快速定位问题根源,构建稳定可靠的消息系统。

2025-06-17 11:40:36 774

原创 TDMQ CKafka 版事务:分布式环境下的消息一致性保障

CKafka 作为分布式流处理平台的佼佼者,以其高吞吐量、可扩展性和容错性等特点备受青睐。而它的事务功能,就是解决数据一致性问题的 “秘密武器”。

2025-06-17 11:22:50 1217

原创 深度解析 RocketMQ 核心组件:ConsumeQueue 的设计与实现

本文将基于 RocketMQ 5.0 源码,深入探讨 ConsumeQueue 的设计原理与实现细节。

2025-06-17 10:08:55 851

原创 腾讯云 TDMQ MQTT 版解锁 5.0 协议,你的物联网设备“更会说话”了

腾讯云消息队列 MQTT 版(TDMQ MQTT 版)自年初商业化以来,受到了广大物联网开发者和企业用户的热烈欢迎,凭借其高可靠、低延迟的特性,已成功服务于智能家居、车联网、工业物联网等多个领域的客户。自6月起,TDMQ MQTT 版正式支持 5.0协议,为用户提供更智能的设备管理、更高效的网络传输以及更精细化的运维监控能力,助力企业构建面向未来的物联网通信基础设施。

2025-06-16 17:24:21 1059

原创 限流系列之一:微服务常见限流方案及TSF限流原理

本文探讨微服务高并发场景下的限流策略。文章还介绍了腾讯微服务平台TSF及其采用的Polaris限流引擎,这些工具在大型分布式系统中实现了有效的流量控制。最后指出合理选择限流策略需综合考虑系统特点、业务需求和性能要求。

2025-06-16 09:39:07 914

原创 Apache Pulsar 技术系列 - 大规模延迟消息解析

Pulsar 3.x 版本大规模延迟消息方案整体比较简单,采用先分桶,再分段的策略,只在内存中保存最近的延迟消息,延迟消息规模将不再受到内存的限制。新版本实际压测下来与设计基本一致,内存占用达到稳定后将不会上涨,目前验证单节点数十亿延迟消息稳定运行。

2025-02-26 16:42:55 863

原创 腾讯云 TDMQ 产品家族新成员:消息队列 MQTT 版全新发布!

自2024年12月27日起,腾讯云消息队列团队正式发布 TDMQ 产品家族的新成员:TDMQ MQTT 版。这款新产品旨在满足物联网和车联网场景下日益增长的应用需求,为企业的技术变革和产业升级提供有力支持。

2025-01-02 11:43:41 898

原创 猫眼在腾讯云北极星上的最佳实践

在当前互联网行业飞速发展的背景下,企业对高效、稳定、灵活的服务治理方案需求愈发迫切。猫眼作为领先的互联网票务企业,通过采用腾讯云 北极星(Polaris),成功优化了其微服务架构,实现了显著的性能提升和故障容错能力增强。通过将注册配置中心从 Nacos 迁移至北极星,猫眼解决了多项技术瓶颈问题,在同等规格下,承载的服务注册数更多,注册发现性能提高了30%,并显著提升了系统的扩展性和稳定性。

2024-12-19 11:52:44 1173

原创 基于 RocketMQ 实现 AMQP 协议实践

在Apache CoC 2024 杭州站大会中,腾讯云高级工程师张乐为与会者带来了精彩的演讲。围绕《基于 RocketMQ 底座实现 AMQP 协议》的背景、目标、方案设计以及几个核心技术实现做了详细的阐述。

2024-11-21 11:45:56 1172

原创 腾讯云上基于 Apache Pulsar 的大规模生产实践

Pulsar Meetup 2024 北京站已经成功落下帷幕。在本次盛会中,腾讯云的高级工程师韩明泽和王震江为与会者带来了精彩的演讲。他们围绕多网接入、集群迁移以及高可用最佳实践这三大核心议题,深入剖析了《腾讯云上基于 Apache Pulsar 的大规模生产实践》,为听众呈现了一场知识与经验交织的盛宴。

2024-10-22 11:30:04 1180

原创 看看这波自建迁移上云,smooth 不 smooth?

无感迁移功能是腾讯云 RocketMQ 面向自建集群迁移上云场景研发的白屏化无感迁移工具。通过白屏化的按步骤操作,只要保证网络连通的场景下,可以将任意部署环境(如各个云厂商、自建 IDC 等等)下的 RocketMQ 集群迁移到腾讯云 RocketMQ 集群上。相比传统 “双读双写” 的迁移方式,客户无需梳理不同业务应用之间的生产消费依赖关系;作为迁移项目的负责人,也无需协调各内部业务方依次完成改造切换。因此极大降低了迁移过程中的阻力,缩短了迁移周期。那么,迁移步骤是如何实现的呢?

2024-09-25 15:30:00 908

原创 万字长文分享腾讯云原生微服务治理实践及企业落地建议

在前不久举办的全球开源技术峰会上,腾讯云产品资深架构师侯诗军发表了《腾讯海量云原生微服务架构建设之路》的主题演讲,本次分享以腾讯微服务架构建设为主,介绍了 TSF、北极星(PolarisMesh)和微服务治理方面的实践经验,并和各行业内人士一起交流了企业实际开展云原生微服务架构转型的落地心得与建议。

2024-09-12 11:47:37 1722

原创 基于 TDMQ for Apache Pulsar 的跨地域复制实践

自2024年9月6日起,TDMQ Pulsar 版专业集群支持消息、元数据两级跨地域复制功能,消息级复制解决用户全球地域的数据统一归档问题,元数据级复制提供解决用户核心业务跨地域容灾的场景。

2024-09-10 15:54:08 1535

原创 PolarisMesh源码系列——服务实例健康检查

PolarisMesh(北极星)是腾讯开源的服务治理平台,致力于解决分布式和微服务架构中的服务管理、流量管理、配置管理、故障容错和可观测性问题,针对不同的技术栈和环境提供服务治理的标准方案和最佳实践。

2024-07-18 14:40:31 961

原创 Apache BookKeeper 一致性协议解析

我们常见的一致性协议,比如 Raft、Kafka、ZAB 等,都是服务端集成协议(协议控制和数据存储绑定),简单来说一致性协议由服务端存储节点来执行。数据流向通常是客户端写数据到 Leader 节点,其他节点再通过推或拉的方式从 Leader 获取数据。而 BK 的一致性协议控制和存储是分开的,协议控制是在客户端执行,可以称之为外部一致性协议,或者客户端一致性协议。数据流向为客户端向多台存储节点同时写入数据,存储节点之间基本不通信。由于一致性协议主要是在客户端执行,本文聚焦于 BK 客户端的实现。

2024-07-18 11:49:18 1638

原创 PolarisMesh源码系列--Polaris-Go注册发现流程

北极星通过对服务治理标准的实现,提供了完善的服务发现和治理方案。同时, SDK客户端与 Server 服务端的数据同步与交互,也有设计良好的服务治理模型和健壮的通信机制提供了可靠的保障。此外,通过插件机制,SDK框架 也提供了灵活扩展的能力。

2024-07-18 11:18:03 1093

原创 PolarisMesh源码系列——服务如何注册

PolarisMesh(北极星)是腾讯开源的服务治理平台,致力于解决分布式和微服务架构中的服务管理、流量管理、配置管理、故障容错和可观测性问题,针对不同的技术栈和环境提供服务治理的标准方案和最佳实践。

2024-07-09 18:09:56 966

原创 PolarisMesh源码系列——服务端启动流程

PolarisMesh(北极星)是腾讯开源的服务治理平台,致力于解决分布式和微服务架构中的服务管理、流量管理、配置管理、故障容错和可观测性问题,针对不同的技术栈和环境提供服务治理的标准方案和最佳实践。

2024-07-09 14:51:19 1399

原创 Flink 基于 TDMQ Apache Pulsar 的离线场景使用实践

Apache Flink是一个开源的流处理和批处理框架,具有高吞吐量、低延迟的流式引擎,支持事件时间处理和状态管理,以及确保在机器故障时的容错性和一次性语义。

2024-06-04 12:00:45 1316

原创 海量消息下王者荣耀在 TDMQ Pulsar 的实践

腾讯云 TDMQ for Apache Pulsar 版(简称TDMQ Pulsar版)是基于 Apache Pulsar 自研的消息中间件,具备极好的云原生和 Serverless 特性,计算存储分离的架构使其在扩缩容方面具备良好的底层优势。

2024-06-03 18:08:27 1056

原创 腾讯云 TDMQ for Apache Pulsar 多地区高可用容灾实践

本文将从四个维度,深入剖析 Pulsar 在多可用区高可用领域的容灾策略。首先,我们将从整体架构的角度切入,洞察其设计之精髓;其次,我们将探寻 Pulsar 在云原生领域的努力;再者,我们将聚焦 Pulsar 在高可用方面的设计,展现其稳健可靠的特性;最后,我们延申拓展 Pulsar 在跨地区同步方面的未来规划。

2024-06-03 15:48:17 1517 1

原创 TDMQ CKafka 版弹性存储能力重磅上线!

自 2024年5月起,TDMQ CKafka 专业版支持弹性存储能力,这种产品形态下,存储可按需使用、按量付费,一方面降低消费即删除、存储使用波动大场景下的存储成本,另一方面存储空间理论上无穷大。

2024-06-03 15:07:03 708 1

原创 Pulsar Meetup 深圳 2024 会务介绍

由 AscentStream 谙流科技和腾讯云中间件联合主办的 Pulsar Meetup 深圳 2024 将于 2024年04月27日 14:00-18:00 在深圳腾讯大厦2楼多功能厅,精彩呈现,期待大家多多报名!

2024-04-25 10:15:22 847

原创 Pulsar Meetup 深圳 2024 讲师和议题介绍

由 AscentStream 谙流科技和腾讯云中间件联合主办的 Pulsar Meetup 深圳 2024 将于 2024年04月27日 周六 14:00-18:00 在深圳腾讯大厦2楼多功能厅,精彩呈现,期待大家多多报名!

2024-04-23 11:38:04 1065

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除