AutoMQ的博客

原创 Kafka Linking：揭秘 AutoMQ 如何实现全球首个Zero-Downtime Kafka 迁移方案

AutoMQ 是一款基于云存储全新设计的 Kafka 发行版，相较传统的 Apache Kafka 拥有 10 倍的成本优势和秒级的弹性能力。

原创 XEOS 与 AutoMQ 推出联合方案，共筑云原生 Kafka 新生态

XEOS 是 XSKY 推出的企业级对象存储产品，支持无缝扩展、跨异构存储系统的统一管理、强大的应用对接、高性能访问和智能数据管理等功能，帮助企业构建安全可靠、高性能、低成本的对象存储平台，满足海量数据管理需求。企业无需牺牲数据隐私与安全，即可在本地部署中享受类似公有云的便捷性与高效性。该体系不仅保障数据的高可用性与业务连续性，还能与 AutoMQ 的高可靠性机制协同工作，有效应对突发故障、网络波动等异常情况，快速恢复服务，确保企业关键业务 7×24 小时稳定运行，满足严苛场景下的运维需求。

原创 吉利汽车采用 EMQX 与AutoMQ联合方案构建公私有云一体化的车联网核心架构

吉利汽车集团 数字化基础架构总工程师 洪旅杭。

原创 AutoMQ x OSS 的 Iceberg 数据入湖的最佳实践

阿里云 OSS 的 AZ 间流量免费，提供有竞争力的 PUT 和 GET 类 API 价格，和每月的 API 免费额度，可有效降低云上 AutoMQ方案的运行成本。COW 会将变更行所属的数据文件整个重写一遍生成新的文件，即使只更新了其中一行，该方式的查询效率最高，但需要付出较大的写入成本。当一行数据更新时，Writer 将要更新的数据特征到 DeleteFile 中，标记之前的数据被删除了，并且将更新的数据写入到 DataFile 中，通过该方式 MOR 将行更新的写入效率做到和追加写入保持一致。

原创 京东 x AutoMQ x CubeFS: 万亿级 Kafka 消息规模下的降本增效之旅

京东内部使用基于 Apache Kafka 构建的 JDQ 来支持其平台业务。JDQ 是京东集团大数据平台统一的实时数据总线，赋能集团内部京东零售、物流、科技、健康、安联等 40 多个一级部门，搜索推荐、广告、点击流、实时大屏等1400+的业务线。JDQ 当前集群规模多达 6000 多个节点，每天产生的记录数达15 万亿，峰值出带宽达到1TB/s。JDQ 平台采用 Kubernetes 进行有状态服务编排，通过 StatefulSet 控制器管理整个集群，支持多种存储方案和服务访问方式。

原创 AutoMQ：无需 Cruise Control 实现 Kafka 的自动分区再平衡

如果你在公司内部管理过 Kafka 部署，可能会执行跨集群分区重新分配操作。由于 Kafka 中计算和存储的紧密耦合，当集群成员发生变化（如添加或移除 broker）或用户希望在 broker 之间平衡负载时，分区副本需要重新分配到不同的 broker，从而导致数据迁移。虽然 Kafka 提供了处理重新分配过程的脚本，但它需要用户干预，并且在规划方面缺乏稳健性。诸如 Cruise Control 之类的工具，基于集群状态提供自动化的副本平衡，并提供更详细的重新分配规划。然而，数据迁移的问题仍然存在。

原创 百行代码实现 Kafka 运行在 S3 之上

本文通过介绍 AutoMQ 存储架构背后的思考和演进为大家揭示了其最核心的基于 Shared WAL 的共享存储架构理念。而未来，AutoMQ 也将持续优化基于这套抽象的流存储引擎底座的能力，在其上为大家构建更加强大的 Kafka 流服务。不久的将来，S3E1Z WAL 也将正式和大家见面，请大家对我们保持关注。

原创 AutoMQ 可观测性实践：如何使用 OpenTelemetry 监控 Kafka 和底层流存储

我们在之前的文章里介绍了 AutoMQ 如何与 Prometheus、观测云[1]、夜莺监控[2]等后端进行集成并实现对 AutoMQ 的监控，本文将进一步介绍 AutoMQ 的可观测性架构，以及 AutoMQ 如何实现多云可观测性。本文从各个方面对 AutoMQ 的可观测架构及集成进行了介绍，并结合 AutoMQ 的实际案例探讨了指标的具体优化实践。

原创 通过 Airbyte 将数据从 AutoMQ 迁移同步到云数仓

随着实时数据处理需求的不断增加，企业需要更加高效和灵活的数据集成解决方案。AutoMQ [1] 作为一种基于云重新设计的 Kafka 消息系统，以其显著的成本优势和弹性能力，成为了企业的理想选择。通过将 AutoMQ 与 Airbyte [2] 和数据仓库集成，可以进一步简化数据集成流程并提升数据分析能力，从而实现实时数据的高效流动和分析，帮助企业快速做出明智决策。这篇文章将向你介绍如何集成这些组件。

原创 AutoMQ 集成 Debezium

在现代企业中，数据处理需求的不断增长使得实时监控和响应数据库变化变得尤为重要。无论是电商平台的订单处理、库存管理，还是金融系统的交易监控，都需要对数据库中的变化进行实时捕捉和处理。这不仅能提高系统响应速度，还能在数据发生变化时及时采取相应的业务操作。为了实现这一目标，本文将介绍如何使用 Debezium [1] 监测 MySQL 数据库的变化，并将这些变化事件发送到 AutoMQ [2] 中。AutoMQ 作为一种高效、低成本的流处理系统，具有高弹性和高可用性，是企业实时数据处理的理想选择。

原创 AutoMQ 集成 Prometheus/VictoriaMetrics

AutoMQ 是一种基于云重新设计的流处理系统，它在保持与 Apache Kafka 100%兼容的前提下，通过将存储分离至对象存储，显著提升了系统的成本效益和弹性能力。具体来说，AutoMQ 通过构建在 S3 上的流存储库 S3Stream，将存储卸载至云厂商提供的共享云存储 EBS 和 S3，提供低成本、低延时、高可用、高可靠和无限容量的流存储能力。

原创 恭喜 AutoMQ 签约客攀科技应用在 AI 广告大模型

依托 LLM 驱动的实时推理引擎，其可实现跨平台广告策略的动态调优，日均处理百亿级营销数据点。与 DeepSeek 通过技术创新来降低 LLM 训练推理成本有异曲同工之妙的地方在于 AutoMQ 也通过基于 EBS WAL 和 S3 的共享存储架构对 Kafka 架构进行创新，在保证 Kafka 100% 兼容性的基础上可以帮助客户降低 至少 50% 以上的 Kafka 成本。AutoMQ 在 Kafka 架构上的创新以及带来的性能和成本效果获得了 Apollo 公司的认可，成为对方选择我们的重要原因。

原创 使用 AutoMQ 和 Tinybird 分析用户网购行为

在当前竞争激烈的市场环境中，数据分析已成为企业实现差异化和精准营销的关键。通过分析用户行为数据，企业能够深入了解用户的习惯、偏好和行为模式，从而更精准地定位目标市场，制定个性化营销策略，并提供定制化推荐和服务。在流处理和数据分析场景中，Kafka[1] 作为高吞吐量、低延迟的分布式消息系统，已成为这一领域的核心基础设施。而AutoMQ[2] 基于云重新设计了 Kafka，将存储分离至对象存储，并在与 Apache Kafka 100%兼容的基础上，为用户提供高达 10 倍的成本优势和百倍的弹性。同样，

原创 原理剖析：一文搞懂 Kafka Producer（下）

至此，我们已经对 Apache Kafka 的生产者进行了完整和深度的解析。如果这些内容对你有所收获，也欢迎访问AutoMQ官方网站，关注我们的官方社交媒体。

原创 左移架构 -- 从攒批，湖仓到使用数据流的实时数据产品

及其示例，如果你更喜欢聆听内容，可以参考这个视频。

原创 原理剖析：一文搞懂 Kafka Producer（上）

今天给大家带来的是 Kafka Producer 的全方位解析（基于[2]）。考虑到篇幅限制，本文分为上下两篇，上篇将介绍 Kafka Producer 的使用方法与实现原理，下篇将介绍 Kafka Producer 的实现细节与常见问题。

原创 Apache Kafka 中的认证、鉴权原理与应用

本文概述了 Kafka 中的认证协议和鉴权策略。首先介绍了 listener 与安全协议的映射，以及安全协议与认证方法的映射。接着分别介绍 Kafka 中支持的多种认证协议，以及 ACL 鉴权策略。在认证通过后，Kafka 会生成一个认证主体，供上层进行细粒度的鉴权。最后介绍了如何对一个运行中的 Kafka 集群中进行认证协议升级以及开启鉴权。

原创 解读 Flink Source 接口重构后的 KafkaSource

AutoMQ 作为 Apache Kafka 的社区分叉项目，对其存储层进行了重新设计与实现，但是完整保留了 Apache Kafka 计算层的代码。对于 Apache Kafka 具有 100% 的兼容性。这意味着在 Flink 生态系统中，专为 Kafka 开发的 Flink Kafka Source/Sink 可以与 AutoMQ 完全兼容。

原创 系统稳定性的基石：限流在 AutoMQ 中的最佳实践

限流是系统在应对突发流量时保证自身运行稳定性而采取的典型操作，常见的的限流算法有固定窗口限流、滑动窗口限流、令牌桶限流和漏桶限流等 [1]，具体的算法原理和实现方式当前已有大量文章介绍，本文不再赘述。本文将着重介绍 AutoMQ 中如何通过限流机制应对不同场景的需求。本文介绍了 AutoMQ 如何利用限流机制进行流量平滑和分级控制，保障系统在复杂生产环境下的平稳运行。

原创 AutoMQ 如何实现没有写性能劣化的极致冷读效率

Apache Kafka 一直以来都以极致的吞吐能力受到广大开发者和使用者的喜爱。AutoMQ[1] 在保证与 Apache Kafka 100% 兼容并且提供极致弹性和降本能力的基础上，不仅做到了相比Kafka更加极致的吞吐能力，同时还解决了Kafka冷读时，写吞吐性能劣化的问题。接下来，本文将从追赶读的实现来说明 AutoMQ 如何做到单机 1K 分区并发追尾读达到 1GB/s 的极致吞吐能力，并且在追赶读过程中避免发送流量的性能劣化。

原创 AWS 弹性伸缩特性介绍

随着云计算技术的不断发展与云原生理念的深入人心，更加多种多样的基础部署模式层出不穷。弹性伸缩组作为一个相对较为“传统”的云技术概念，可能还是有不少同学有些陌生。今天我就以云计算鼻祖 AWS 的弹性伸缩组为例，谈一谈这个伴随着云计算发展的基础产品。弹性伸缩组是 Iaas 基础设施发展晚期被提出的一类云产品，相信大家对于 k8s 都会有所了解，基于容器的弹性扩缩容方案不是一个新鲜的概念。弹性伸缩组我们可以理解为是基于云虚拟机的解决动态扩缩容需求的产品。

原创 Apache Kafka 消息清理之道

消息的清理是 MQ 中间件的基本能力，可以避免 MQ 的存储占用空间无序增长。与其他消息产品不同，Apache Kafka(以下简称 Kafka) 中 topic 上的消息被消费后不会被马上清除，而是由 topic 级别的清理策略来控制。本文将简要介绍 Kafka 中的两种消息清理策略：deletion 和 compaction，探讨他们的应用场景、配置参数以及一些技术细节。

原创 携手AWS，零成本在EKS上体验AutoMQ企业版

AutoMQ是一款贯彻云优先理念来设计的 Kafka 替代产品。AutoMQ 创新地对 Apache Kafka 的存储层进行了基于云的重新设计，在 100% 兼容 Kafka 的基础上通过将持久性分离至 EBS 和 S3 带来了 10x 的成本降低以及 100x 的弹性能力提升，并且相比 Apache Kafka 拥有更佳的性能。为了让广大开发者以及对 AutoMQ 感兴趣的朋友可以更好的体验 AutoMQ 企业版内核的能力，AutoMQ 与 AWS 合作为大家提供了一个免费试用 AutoMQ 的机会。

原创 AutoMQ 流表一体新特性 Table Topic 发布： 无缝集成 AWS S3 Table 和 Iceberg

超越共享存储：使用 Apache Iceberg 中的 AutoMQ Table Topic 实现流处理与分析的统一自 2023 年底官宣以来，AutoMQ 成功地将 Apache Kafka 从“Shared Nothing architecture”转变为“Shared Storage architecture”，这为京东、知乎、小红书等大型企业带来了至少 50%的成本节约。

原创 Kafka 迁移 AutoMQ 时 Flink 位点管理的挑战与解决方案

编辑导读： AutoMQ 是一款与 Apache Kafka 100% 完全兼容的新一代 Kafka，可以做到至多 10 倍的成本降低和极速的弹性。凭借其与 Kafka 的完全兼容性可以与用户已有的 Flink 等大数据基础设施进行轻松整合。Flink 是重要的流处理引擎，与 Kafka 有着密切的关系。本文重点介绍了当用户需要将生产 Kafka 集群迁移到 AutoMQ 时，如何处理好 Flink 的位点来确保整体迁移的平滑过渡。

原创 活动预告｜云原生创新论坛：知乎携手 AutoMQ、OceanBase、快猫星云的实践分享

近年来，云原生技术迅猛发展，成为企业数字化转型的关键动力，云原生不仅极大地提升了系统的灵活性和可扩展性，还为企业带来了前所未有的创新机遇。12 月 28 日 知乎携手 AutoMQ、OceanBase 和快猫星云推出“云原生创新论坛”主题的 meetup。

原创 AutoMQ热招岗位，等你来投！

原创 AutoMQ x Iceberg SG Meetup: Table Topic 新特性统一流与分析首次公开

Apache Iceberg 已经成为数据湖表格式的事实标准，为存储在S3上的数据提供了统一的格式。随着 AWS 在 2024 年的 re:invent 大会上宣布支持 Iceberg Table 的 S3 Table 新特性，Iceberg 再一次受到全球开发者的关注和讨论。AutoMQ 是基于云优先理念设计的新一代 Kafka。基于 S3 创新的共享存储架构使得 AutoMQ 提供了低成本、极速弹性和高性能的 Kafka 服务。

原创 AutoMQ 如何在 AWS 上避免 Kafka 跨 AZ 网络传输费用

Apache Kafka，作为一种广泛使用的消息或流系统，已经成为很多技术人员的关注焦点。其多功能性和可扩展性使其在各种公司的基础设施中占据一席之地。然而，也有用户反映在使用 Kafka，特别是在云计算环境下，会遇到操作困难等问题。当将 Apache Kafka 部署到云环境时，Replication Factor （RF） 会导致数据在不同可用区（AZ）之间分发，这可能会导致计算和存储成本的增加。根据 Confluent 的数据，跨 AZ 的传输成本可能占据总费用的 50% 以上。

原创 得物使用AutoMQ构建海量数据处理的新一代可观测性架构

得物通过引入AutoMQ，成功解决了Apache Kafka在大规模数据处理中的诸多挑战。在实际应用中，AutoMQ在得物可观测性平台表现出了显著的优势，不仅降低了系统的存储和计算成本，而且大幅度提升了资源利用率和运维效率。得物可观测性平台借助AutoMQ的存算分离架构，克服了Kafka在扩展性、存储成本和运维复杂性上的局限性，实现了动态资源调整和高效的冷读优化。在双十一高峰期，AutoMQ的卓越性能和弹性扩缩容能力保证了系统的高可用性和稳定性，无需额外进行繁重的容量评估和提前扩容操作。

原创 AutoMQ BYOC 模式如何管理云的权限

本文简单介绍了云提供商的权限相关的基础知识与 AutoMQ 对于权限控制方面的一些方案，欢迎大家关注 AutoMQ 的产品。

原创 知乎启用AutoMQ替换Kafka，开辟成本优化与运维提效新纪元

作者：知乎在线架构组 王金龙。

原创 海外开发者为 AutoMQ 写的精品介绍，太干了！

在 KRaft 模式下的每个 broker 都保留了元数据的本地副本，而控制器群的领导者负责管理更新并将其复制到所有的 brokers，这大大降低了操作的复杂性和可能的故障点。AutoMQ 的工程师们开始思考：“是否存在一种方法，可以将所有的 Kafka 数据存储在对象存储中，同时还能保持像在本地硬盘上一样的高性能？传统的 Kafka 依赖于独立的 ZooKeeper 服务器来进行集群元数据的管理，但是 KRaft 模式消除了对 ZooKeeper 的依赖，简化了 Kafka 的运行并提升了其弹性。

原创 AWS 弹性伸缩特性介绍

以目前 AutoMQ 使用的两类机型为例，r6in.large 与 r6i.large 均为 2 核 16G 内存的机型，但在实际综合测试中，两者的服务能力存在着本质的区别，可以几乎认为 r6in.large 的服务能力为 r6i.large 的两倍，而两者在不同地域与可用区的分布并不均匀，当我们选择使用多可用区高可用布局的情况下，很难做到不同可用区的服务能力是平衡的。此时，弹性伸缩组会自动执行节点的替换操作，得益于 AutoMQ 的无状态架构，可以平滑的进行节点的替换。

原创 如何通过 CloudCanal 实现从 Kafka 到 AutoMQ 的数据迁移

AutoMQ 基于云重新设计了 Kafka，将存储分离至对象存储，在保持与 Apache Kafka 100% 兼容的前提下，为用户提供高达10倍的成本优势和百倍的弹性优势。在企业的日常运营中，数据系统的升级和迁移是不可避免的。增量同步则在全量同步完成后，实时捕捉和同步 Kafka 中的新增和变更数据，确保在迁移过程中，两个系统之间的数据保持一致。接下来，我将以增量同步为例，详细介绍如何使用 CloudCanal 实现从 Kafka 到 AutoMQ 的数据迁移，确保数据在迁移过程中保持一致和完整。

原创 AutoMQ 开源可观测性方案：夜莺 Flashcat

然而，随着集群规模的扩大和业务复杂性的增加，确保 AutoMQ 集群的稳定性、高可用性和性能优化变得尤为重要。通过使用夜莺监控系统，企业可以实时掌握 AutoMQ 集群的运行状态，及时发现和解决潜在问题，优化系统性能，确保业务的连续性和稳定性。创建完告警后，让我们来模拟高并发的消息处理场景：短时间内总共2500000条消息被发送到 AutoMQ 节点，我采用的方式是通过 Kafka SDK 的方式进行消息发送，一次共 50 个 Topic ，给每个 Topic 发送 500 条消息，共 100 次。

原创 就在今晚！亚马逊云科技数据开源软件-流式数据湖 Tech Talk等你来！

现在我们基于对象存储优先、存算分离、多云原生等技术理念，重新设计并实现了 Apache Kafka 和 Apache RocketMQ，带来高达 10 倍的成本优势和百倍的弹性效率提升。无论您是经验丰富的数据工程师，还是独具慧眼的架构师，亦或是对数据湖技术满怀热忱的从业者，这场活动都将为您带来前所未有的启发和实用的解决方案。7月24日19:00-21:00，本次亚马逊云科技数据开源软件-流式数据湖 Tech Talk 即将举行。欢迎大家来观看直播，与我们共同探讨流式数据湖的未来发展与实操经验！

原创 百行代码实现 Kafka 运行在 S3 之上

AutoMQ 致力于充分发挥云的优势，贯彻 Cloud-First 的理念，通过共享存储架构，AutoMQ 将数据的持久性解耦出来卸载给了像 S3、EBS 这样成熟的云存储服务，可以充分挖掘了这些云存储服务的潜力。得益于 Shared WAL 的顶层抽象和 EBS WAL 的实现基础，S3 WAL 的核心流程与 EBS WAL 的实现相同，因此 AutoMQ 团队仅在几周内即可完成了 S3 WAL 实现的支持。在这篇文章中，我们将与你分享 AutoMQ 共享流存储引擎的设计细节、背后的思考以及演进的过程。

原创 活动回顾 | AutoMQ 联合 GreptimeDB 共同探讨新能源汽车数据基础设施

本次论坛多角度探讨如何通过创新的数据管理和存储架构，提升汽车系统的性能、安全性和可靠性，从而驱动行业的持续发展和创新，涵盖 AutoMQ 多模态共享存储架构、长城汽车多云多活架构的实践与探索、GreptimeDB 边云一体化数据库介绍、小红书深度解读 AutoMQ 云原生及多云容灾架构、车载嵌入式时序数据库的技术挑战和方案等议题。这不仅仅是为了应对云服务商的故障，更是为了确保长城汽车在任何时候都能够提供稳定可靠的服务，通过在多家云厂商间建立接入点，实现了跨云架构，提高了系统的容错能力和稳定性。

原创 如何使用观测云监测 AutoMQ 集群状态

本文我们介绍了如何将观测云平台与 AutoMQ 完美地结合在一起，完成对 AutoMQ 集群状态信息的监测，其实还有更多进一步的高级操作，比如自定义的报警功能，自定义的数据查询等，这些都可以通过官方给出的规则进行 DIY，你可以手动试验一下这些操作，相信你会找到适合你的需求。主要显示的是当前活跃 Broker 的数量，以及总的 Topics 数量、Partitions 分区数量等，除此之外，我们也可以指定具体查询哪个节点，这个可以在 Cluster_id 里选择。