AutoMQ 与 Tigris 宣布达成战略合作

SAP 财务快速记账之—G/L Item Fast Entry SAP FICO 运维解决方案 阅读详情

我们非常高兴地宣布,AutoMQ 与 Tigris 正式携手合作,共同重新定义云原生实时数据基础设施的未来——助力企业将海量数据即时转化为业务价值。

随着数字化与全球化浪潮的不断加速,实时数据已成为企业创新和保持竞争优势的核心支柱。然而,传统的数据架构却常常在性能与成本方面遭遇瓶颈,难以有效支撑跨区域、高增长的业务负载。

为了应对这些挑战,AutoMQ 100% 兼容 Kafka 的流处理引擎,现已与 Tigris 全球分布式、兼容 S3 的对象存储深度集成,共同构建了新一代高效、可扩展且极具成本效益的“无盘 Kafka” 平台。

关于 AutoMQ

AutoMQ 是一个基于云原生架构构建的、兼容 Kafka 的新一代流处理平台。其核心创新在于存算分离设计:计算层可以按需弹性伸缩,而存储层则利用对象存储(如 S3 或 Tigris)来实现持久化和成本优化。该架构显著降低了总拥有成本,同时增强了数据可靠性。

该平台完全兼容 Apache Kafka,能够实现从现有 Kafka 集群的无缝迁移,且无需任何应用层代码的改动。AutoMQ 提供全托管服务,可自动完成弹性伸缩、监控、权限管理及企业级安全配置,极大地简化了运维开销。

AutoMQ 支持在 AWS、Azure、Google Cloud 等多云环境部署,提供低延迟、高吞吐、高可用的实时数据基础设施。凭借这些能力,AutoMQ 帮助金融、电商、互联网和制造业等组织,快速构建高效、低成本的实时数据管道,并加速数据驱动的创新。

💡 核心优势

  • 显著降低成本: 通过存算分离和对象存储,AutoMQ 极大降低了资源空闲时间与跨可用区(AZ)流量成本,可将 Kafka 集群的总体成本削减高达 90%。
  • 支持实时湖仓: AutoMQ 原生集成了 Iceberg,可轻松实现实时湖仓架构,带来秒级的数据新鲜度,并消除了面向分析场景的复杂 ETL 工作流。
  • 100% Kafka 兼容: 支持所有 Kafka 功能及 Strimzi、Kafka Connect 等生态工具,确保无缝迁移且无性能衰减,使企业能够充分享受云原生架构的全部优势。
  • 极致运维体验: 扩容操作从 43 小时缩短至仅 10 秒,分区重平衡(Reassignment)可在秒级完成。系统自动管理节点、均衡负载并实现自愈,最大限度地减少了人工干预,带来真正的“零运维”(Zero-Ops)体验。

关于 Tigris

Tigris 是一款云原生的、全球分布式的、兼容 S3 的对象存储平台,专为 AI 和实时工作负载而打造。它能够自动将数据放置在靠近跨区域用户的位置,提供低延迟访问,并消除了手动数据复制和缓存的复杂性。

Tigris 原生支持 S3 API,开发者只需更新端点(Endpoint)即可使用现有的工具和 SDK,从而实现在不同云环境间的无缝迁移。其多层存储架构会根据访问模式动态平衡性能与成本,确保以最低的开销实现高吞吐和高可靠性。

针对 AI 场景中频繁访问小对象(如 Embeddings 和模型切片)的需求,Tigris 采用了内联(inlining)、合并(coalescing)和基于 LSM 的缓存技术,以提供亚秒级的访问延迟和卓越性能。

凭借这些能力,Tigris 超越了传统对象存储的范畴,为下一代 AI 和实时工作负载提供了一个专为此类场景而打造的高性能、高性价比的数据基石。

💡 核心优势

  • 全球智能分布: 数据根据访问模式自动在跨区域间进行放置和优化,无需配置数据复制或缓存策略,即可实现低延迟访问和无限扩展。
  • 低成本数据访问架构: 凭借零出口(Egress)费用和分层存储,Tigris 在保持高性能和高可靠性的同时,最大限度地降低了数据访问和存储成本。
  • S3 兼容与无缝集成: 可与现有的 S3 工具、SDK 和工作流协同工作。只需更新端点(Endpoint),即可连接跨多云或混合云环境。
  • AI 优化的向量存储: 为 AI 相关的“小对象”(如 Embeddings 和模型切片)提供快速访问,为 AI 训练、推理和分析提供高性能的数据支持。

AutoMQ 与 Tigris 如何协同工作

在现代云原生架构中,存算分离、弹性可扩展性以及对象存储,已成为实时数据基础设施的必要基石。AutoMQ 的无状态计算设计,与 Tigris 的全球分布式弹性存储相结合,为 Kafka 带来了一种全新的“无盘”(Diskless)范式,使高效的实时数据“全球流动”成为可能。

深度集成的三层架构

  • 数据摄取层

AutoMQ 支持从多样化的实时数据源(如用户活动、物联网设备和日志流)摄入数据,同时完全兼容 Kafka 客户端和流处理框架。通过存算分离,流式数据被直接写入 Tigris 对象存储,无需中间缓存,确保了高吞吐和强一致性。

  • 存储层

Tigris 提供持久化存储和全球数据管理能力,并内置了冗余和高可用性。数据被智能地分布在更靠近访问的区域,以降低跨区域延迟。其多层存储设计优化了性能和成本,而零出口费用则显著削减了跨云和跨区域的开销。

  • 运维与弹性层

AutoMQ 和 Tigris 均为完全的云原生架构,支持多云或混合云部署。AutoMQ 根据工作负载需求弹性伸缩计算资源,而 Tigris 的 Serverless 模式则确保了存储的可扩展性和高可用性。两者结合,实现了运维负担极小、稳定且自愈的实时数据管道。

带来的价值

  • 全球 Kafka 服务: AutoMQ 与 Tigris 的结合,实现了跨区域、跨云的统一实时数据流服务,彻底打破了地理和基础设施的壁垒。
  • 极致的成本效益: AutoMQ 的存算分离和无状态 Broker 架构,显著降低了 Kafka 的运维及基础设施成本;而 Tigris 的零出口费用和分层存储,则进一步削减了跨区域和多云的数据访问开销。两者共同在不牺牲性能的前提下,实现了成本效益的最大化。
  • 高兼容性与平滑迁移: 双方均支持 S3 API,使企业能够即时连接现有的应用程序,并在无需停机的情况下平滑迁移工作负载。
  • 简化的管理: 凭借云原生的自动化和弹性能力,AutoMQ 与 Tigris 提供了自动伸缩和自愈功能,确保了实时数据基础设施的运维简洁性与稳定性。

展望未来

AutoMQ 与 Tigris 将继续深化技术融合,不断提升“无盘 Kafka”(Diskless Kafka)的性能、弹性和可扩展性。双方正携手推动全球云原生实时数据基础设施的演进,赋能企业加速实现从数据到价值的转化。

想要了解更多?

👉 探索 AutoMQ 的实时数据平台,了解它如何重塑规模化流处理。

👉 发现 Tigris 的全球数据管理解决方案,为您的跨区域性能赋能。

汽车轮胎动平衡背后的秘密:如何用惯性主轴原理消除方向盘抖动 本文深入解析了汽车轮胎动平衡的核心原理,即利用惯性主轴原理消除高速行驶时的方向盘抖动。文章从方向盘抖动的现象出发,阐释了动不平衡产生的物理本质,并详细介绍了如何通过动平衡机测量、计算与校正,使轮胎-轮毂系统的实际旋转轴回归其惯性主轴,从而实现稳定运转。 阅读详情

相关推荐

戴尔PowerEdge服务器R450 RAID配置步骤

戴尔PowerEdge服务器R450 RAID配置步骤

且听风呤tmj的博客 6910

第八篇:《Kafka Connect 与 Kafka Streams:数据集成与流处理的两种路径》

还有 exactly.once.source.support 只覆盖 Source 侧的精确一次,Sink 侧的重复仍然要靠目标系统的幂等或 DLQ 兜底——这和第七篇的结论完全一致:框架不解决语义正确性,只解决工程效率。KRaft 和 EOS 让 Kafka 内部更可靠,但 Connect 和 Streams 的分工不会因此模糊:Connect 把数据搬进来搬出去,Streams 在 Kafka 内部算,算到边界之外仍然要自己兜底一致性。判断标准只有一句话:你是在“搬数据”,还是在“算数据”。

qq_45239623的博客 352

从查表法到实时计算:SimpleFOC库中正弦函数优化的技术演进

本文深入探讨了SimpleFOC库v2.0.1版本中正弦函数优化技术的演进,从传统查表法到实时计算的创新实践。通过定点数优化、对称性利用和分段线性插值等关键技术,实现了在嵌入式电机控制中的高效三角函数计算,显著提升性能和资源利用率。

weixin_28273593的博客 452

Kafka4.4安装配置详细说明,配JDK21

目的:现在 Kafka 是 PLAINTEXT,任何能连上 9092 的 IP 都能建/删 topic、读写所有数据。要做三件事:① 给他们建账号 ② 建好他们要推的 topic ③ 防火墙白名单放行他们的 IP。目标:把 9092 / 9093 加入端口黑名单,让「白名单 IP 仍能访问、其他 IP 被拒绝」。(记下来,后面所有管理命令的 admin-client.properties 都要用它)。修复后客户端立即返回 topic,端到端(建 topic → 生产 → 消费)全部通过。

崔崇鑫的博客,你linux/云运维工作中的百科全书。 501

低功耗设计:rush current

在power gating的设计中引入了一个rush current的概念,它的产生原因是switch cell上电过程相当于电容充电过程,会产生一个短期的大电流,称之为rush current。 1.rush current的危害 1)造成巨大的ir drop 2)导致功能错误 3)一些极端例子中,rush current会引发VDD短期崩溃,造成存储在retention register与mem中的数据失效 4)大电流会还对周围always on模块造成干扰,产生大的压降 2.控制rus

m0_61544122的博客 3071

SAP Business Technology Platform 支持的技术栈

SAP Business Technology Platform(简称 BTP)是 SAP 提供的一个综合技术平台,旨在帮助企业实现业务转型和创新。BTP 融合了数据库管理、应用开发、集成、分析和智能技术,为企业提供从基础架构到端到端应用的全面服务。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1567

Kafka 架构、消息可靠性与生产运维:从分区模型到故障治理

本文深入解析 Kafka 如何通过分区、复制与日志顺序解决大规模事件流问题,适用于云原生及后端工程师。核心在于理解其作为分布式提交日志的定位:单分区有序、跨分区需业务键协调;依赖 ISR 保障可靠性;消费组并行度受限于分区数。强调“至少一次”语义下的幂等设计与重放治理,避免盲目扩分区或依赖全局顺序。关键实践包括合理配置 acks、min.insync.replicas,分离拉取与 offset 提交,并建立可观测性与死信链路。最终,Kafka 的高可靠是副本机制、提交语义、业务幂等与运维治理的系统性组合。

m0_72376392的博客 190

Flow Match 原理 及应用

Flow Matching(流匹配)是生成模型的范式革命——用确定性ODE替代随机扩散过程,在自动驾驶轨迹预测中实现10倍采样加速和更高生成质量。更快的采样速度:通常只需 10-50 步就能生成高质量样本更稳定的训练:避免了传统扩散模型中复杂的噪声调度理论基础:基于连续正规化流(Continuous Normalizing Flows)核心思想:Flow Matching 通过学习一个 向量场(vector field) 来直接建模从噪声分布到目标分布的连续变换路径。

@bangbang的博客 98

一台虚拟机跑通 Hadoop → HBase → Kafka → DataX → Flink CDC:全量与增量双通道落地

单机虚拟机上串起 Hadoop、HBase、Kafka、DataX 与 Flink CDC 的完整链路:给出版本端口内存规划、启动编排脚本、DataX 全量任务与 CDC 增量作业,并附端到端排错对照表。

2301_78967866的博客 394

【麒麟系统】Rsync文件复制与同步工具

本文摘要: Rsync是一款Linux/Unix系统标配的高效文件同步工具,支持增量传输、SSH加密、断点续传等核心功能,相比SCP具有显著优势。文章详细解析了Rsync的五种标准语法格式和常用参数组合,重点介绍了本地同步、远程SSH同步(推送/拉取)的实操方法,并提供了密钥免密登录配置方案。针对企业运维场景,还讲解了文件过滤、镜像同步(--delete)、迁移同步(--remove-source-files)、空运行预校验(--dry-run)等高级功能,以及带宽限速等优化技巧,帮助用户安全高效地完成各类

信创运维工程师 · 银河麒麟 & 容器实战 | 金融生产环境迁移·等保加固 | 142篇原创·17万+阅读 997

第51节:cesium 范围查询(含源码+视频)

cesium 范围查询

qq_29384639的博客 1495

Kafka 与 RabbitMQ 在用户认证与权限管理场景

实现方式 | 是否支持消息顺序性 | 是否支持消息确认机制 | 是否支持分区(横向扩展) | |--------------------|------------------|------------------|------------------------| | Kafka | 支持 | 支持 | 支持 | | RabbitMQ | 不支持(默认) | 支持 | 不支持 |然而需要注意的是,RabbitMQ 的默认模式下不支持按分区进行数据分发,默认采用轮询的方式向所有消费者分配任务。

wuchangjian的专栏 118

【AFAC2026金融智能-赛题四】我做了一个疯狂的决定,把Embedding和Reranker全删了

本文介绍了AFAC2026金融智能挑战赛赛道四的解题思路,核心是在500万token的严格限制下实现金融长文本的高效问答。作者通过四步流水线(规划、BM25检索、记忆压缩、LLM推理)优化流程,重点创新在于: 采用零API调用的纯BM25检索,配合多路查询、封面页加权和页面邻接扩展等策略 设计高效的检索算法,从问题中提取专有名词并构建多路查询组合 深入理解评分公式,平衡准确率和token消耗,最终在准确率提升的同时将token消耗从数百万降至百万级 这些创新使方案在严格限制下实现了性能突破,展示了在资源受限

224

Kafka 消费者 poll() 流程与原理详解

Kafka Consumer 的poll()不只是简单的“拉取消息”,而是消费者运行过程的核心驱动入口。poll()↓Metadata / Group 协调↓Heartbeat↓↓↓Broker↓↓业务处理↓Offset 提交理解poll()的工作机制,可以帮助排查 Consumer Lag、消费延迟、频繁 Rebalance、处理超时以及消费吞吐不足等问题。控制一次poll()返回多少消息,而控制业务处理两次poll()之间允许的最大时间。

虽非技冠群英首,愿与同道共长歌; 大鹏一日同风起,扶摇直上九万里; 564

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

消息队列入门:RabbitMQ 与 Kafka 核心概念与运维要点

BIOS→GRUB→内核→systemd→target 全链路解读,root 密码忘了解锁、文件系统损坏修复、单用户模式与救援模式实战,服务器起不来时的救命指南。

2502_91473995的博客 343

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Kafka 3.9.1 三节点集群部署方案(ZooKeeper 模式)

本文采用 ZooKeeper 模式部署 Kafka 三节点集群:集群元数据(Topic、分区、副本分配、ACL、controller 归属)存放在独立 ZooKeeper 集群的 znode 下。ZooKeeper 必须在 Kafka 之前完成部署并确认多数派可用,否则 Kafka 启动后会反复重连。示例:日写入 200GB,副本数 3,节点数 3,保留 7 天。需要端口放通与关闭防火墙中选择,根据实际环境进行调整。取值 1/2/3,两者相互独立,不可混用。为占位符,部署前替换为实际密码。

虽非技冠群英首,愿与同道共长歌; 大鹏一日同风起,扶摇直上九万里; 349

Kafka 如何实现顺序消费?

Kafka仅保证分区内消息有序,不支持全局有序。实现顺序的关键是:生产端通过相同Key确保消息进入同一分区(配合幂等生产者防重试乱序),消费端保证分区独占且按Key路由至内存队列,由单线程串行处理。吞吐提升可按Key拆分队列并行处理,避免并行导致乱序。核心口诀:同Key同分区,同分区同线程。

175

Kafka 分层存储落地指南:冷 Segment 自动落到 RustFS 对象存储

Kafka 分层存储(KIP-405)3.9 起生产可用,但 Apache Kafka 不带任何存储后端实现,落地要自己装 RemoteStorageManager 插件。本文用 Aiven 开源 RSM 插件把远程层接到自建的 RustFS(S3 兼容):两套 retention 的回落陷阱、broker 全量配置(含单集群 min.isr 坑)、验证三步、KIP-950 退出路径与官方限制清单,命令全部对官方文档逐字核实。

分布式存储与RustFS的博客 653

Kafka 的存储也能进对象存储:用 AutoMQ 把日志流写进 RustFS

Kafka 的痛点是存储和 broker 绑死在一起。topic 一多、留存一久,broker 本地盘就被日志段塞满,扩容不是加 broker 就是换更大的盘,数据还得在节点间搬来搬去。更麻烦的是 broker 一旦挂了,恢复全靠副本在别的节点重建,磁盘 IO 先爆一轮。AutoMQ 是 Kafka 的一个云原生发行版,思路是把存储和 broker 彻底解耦:预写日志先在本地缓冲,随后作为不可变…

分布式存储与RustFS的博客 285

通过 Docker 快速搭建 Kafka 开发测试环境

本文介绍通过Docker快速搭建Kafka开发测试环境的两种模式:无认证PLAINTEXT与SCRAM认证SASL_PLAINTEXT。首先生成KRaft集群ID,配置数据目录并使用docker-compose启动单机Broker。在无认证模式下初始化后,创建SCRAM用户;随后通过修改监听器协议、JAAS配置及客户端认证文件,切换至SASL认证模式。利用持久化数据卷,凭据可跨重启保留。适用于开发调试,生产环境需增强安全配置。

323

kafka集群(kafka_2.13-3.5.1.tgz)添加用户密码认证

继上篇文章zk集群添加完用户密码后,kafka集群也需要添加认证,主要方法与zk类似。

weixin_44418421的博客 225

【Kafka 从入门到实战】从手写一个队列到生产级消息中间件:架构、分区、消费组、零拷贝全解析

本文从队列基础出发,层层解析Kafka架构与设计精髓,涵盖消息队列本质、核心术语、分区机制、生产者消费者模型及四大性能优化原理:顺序写入、批量压缩、页缓存、零拷贝。附完整可运行Python代码(建Topic、生产/消费),并总结12道高频面试题与踩坑记录,帮助读者真正理解Kafka“为何快”,而非仅背“零拷贝”一词。

wiwiwiwiooo的博客 316

kafka指定分区消费

【代码】kafka指定分区消费。

hy_208的博客 52

Kafka 认证与安全方案完整实施指南

SSL/TLS 是 Kafka 最基本的传输层安全机制。它加密所有客户端和 Broker 之间的网络通信,包括 Producer、Consumer、Admin Client、Connect、Streams 等所有基于 TCP 的交互。SSL 可以单独使用,也可以作为 SASL 的传输底座(SASL_SSL 模式)。SASL/PLAIN 是最简单的 SASL 认证机制。客户端通过明文用户名和密码进行认证。密码在网络上以 Base64 编码传输(非加密),所以必须配合 SSL/TLS 使用,即。

虽非技冠群英首,愿与同道共长歌; 大鹏一日同风起,扶摇直上九万里; 235

Kafka 怎么保证消费只消费一次的?

一句话:Kafka 本身只保证“至少一次”,“只消费一次”要自己动手。常规业务用“手动提交 offset + 业务幂等”这对组合拳;下游是数据库可以把 offset 和业务绑进同一个本地事务;纯 Kafka 内部流转则直接上幂等生产者 + 事务。把“业务处理与 offset 提交非原子”这个根因讲透,再给对应的幂等方案,这道题就稳了。

194

30. 技术专题-‌应用框架组件-消息队列-Kafka

本文以“消息包裹”为线索,详解Kafka从生产到消费的全链路流程,聚焦三大核心问题:不丢(通过acks=all、ISR副本、先处理后提交offset)、不重(开启幂等性,业务层用唯一键去重)、有序(同一分区保证顺序,通过业务key路由)。揭示Kafka“至少一次”语义下的设计哲学——不丢是基础,重复需自控,顺序靠路由。掌握这三道坎,即可应对90% Kafka面试与实战难题。

princemilo的博客 345

【Kafka】零基础学习教程

Kafka 是一个「只能追加、可以重复读」的分布式日志,不是传统意义上「读完就删」的队列。生产者写进去,消费者按自己的进度读。每个消费组自己记一个 offset(读到哪了),互不干扰。Kafka 快,是因为顺序写磁盘 + 批量 + 零拷贝;Kafka 难,主要难在「分区、副本、消费组」这几个概念和运维。Kafka 是一个分布式的、只能追加的日志(append-only log),生产者往里写,消费者按自己的进度读,消息按策略保留而不是读完就删。分布式:可以多台机器组成集群,水平扩展。只能追加。

2503_94545876的博客 299
上一篇: 重磅发布|AutoMQ v1.6.0 开源版:Kafka 成本直降 17 倍,原生支持 Strimzi 与 Iceberg
下一篇: AutoMQ × RustFS: Building a new generation Diskless Kafka based on object storage
AutoMQ
博客等级 码龄3年 1206粉丝 157原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值