- 博客(158)
- 收藏
- 关注
RSS订阅原创 AWS 新发布的 S3 Files 适合作为 Kafka 的存储吗？
Kafka 社区对共享存储的兴趣由来已久：如果所有数据都放在 S3 这样的共享存储上，Broker 就不需要本地磁盘，副本复制可以省掉，跨 AZ 流量费也随之消失。但对象存储的延迟一直让这个想法停留在"理论上很美"的阶段。AWS 最近发布的 S3 Files 改变了这个前提——它给 S3 加上了 NFS 文件系统接口，小文件读取延迟做到了亚毫秒级。于是一个老问题以新的面貌回来了：Kafka 能不能直接跑在 S3 Files 上？
2026-04-20 11:45:22
416
原创 别再每月浪费数千美元：拆解 AWS/GCP Kafka 背后的隐性账单
云上Kafka集群的跨可用区(AZ)流量费用可能占到总成本的50%以上，却常被忽视。AWS/GCP对跨AZ数据传输双向收费($0.02/GB)，而Kafka的3副本架构必然产生大量跨AZ流量：Producer写入(2/3概率跨AZ)、Leader-Follower复制(确定性2GB/1GB写入)、Consumer读取(多组重复消费)。典型100MB/s生产集群月流量费可达$24,000，优化后仍需$14,000，远超EC2实例费用。这些费用被归入"EC2-Other"账单项，与其它
2026-04-16 14:23:37
451
原创 360 如何用 AutoMQ 解决千亿级 Kafka 冷读难题
360集团采用AutoMQ解决了Kafka冷读难题，显著提升了日志检索平台性能。AutoMQ的存算分离架构通过三条独立数据路径（写入、热数据消费、冷数据读取）实现冷热隔离，将生产P99延迟从10秒降至500毫秒，积压量减少40倍，同时节省50%硬件成本。评估测试验证了其毫秒级延迟、读写隔离和分钟级弹性扩容能力。生产部署采用K8s+对象存储方案，配备集群级故障切换机制，为360的日志平台提供了更高效的云原生消息服务。
2026-03-30 17:38:56
432
原创 技术干货｜一行配置让你的 Apache Kafka RTO 缩短一半
RTO (Recovery Time Objective，恢复时间目标)。在分布式系统的语境下，RTO 并不是一个抽象的 SLA 数字，而是一个倒计时的秒表。它指的是从故障发生的那一刻起，到系统完全恢复服务能力所允许消耗的最长时间。对于运维团队来说，RTO 就是从“系统报警”到“业务止损”之间的生死时速。这一行看似微小的配置调整，成本极低，却能有效消除单节点故障下的客户端滞后，将 RTO 缩短约 50%。对于所有运行在存算耦合架构下的存量 Kafka 集群，这是一项值得立即执行的优化。
2026-02-25 15:05:59
675
原创 AutoMQ × Aklivity：解锁云原生实时数据价值
我们非常荣幸地宣布，AutoMQ 与 Aklivity 正式达成战略合作伙伴关系！共同致力于推进云原生实时数据基础设施的演进，助力企业深度释放实时数据的核心价值。数字化转型全面加速，实时数据已成为商业创新与提升竞争力的核心。然而，传统的实时数据架构在多系统互联、数据安全保障以及成本控制等方面仍面临重重挑战。AutoMQ 的无状态云原生 Kafka 平台现已深度集成 Aklivity 的多协议网关技术。
2026-02-04 16:16:38
921
原创 从Kafka到AutoMQ：爱奇艺实时流数据架构演进
本文详细介绍了爱奇艺在处理大规模实时流数据时，从传统Kafka架构向AutoMQ演进的技术历程。为了解决私有云环境下集群扩缩容难、资源利用率低以及运维成本高等挑战，爱奇艺开发了Stream平台与Stream-SDK，实现了业务与底层存储的彻底解耦。随后，公司引入公有云服务并最终切换至基于存算分离架构的AutoMQ，利用其单副本存储和秒级弹性的特性，显著提升了系统的灵活性。这一系列的架构升级不仅优化了数据治理体系，还成功将运营成本降低了70%以上。
2026-01-26 15:59:54
682
原创 [特殊字符] 庆祝 AutoMQ 在 GitHub 上突破 9k Stars！
正因如此，AutoMQ 赢得越来越多用户的认可和采用**，被视为云上 Kafka 的新一代解决方案。**在云原生趋势已成定局的今天，Diskless 架构、Cloud Native 能力、对象存储以及弹性基础设施，正在共同塑造下一代 Kafka 的底座形态，而 AutoMQ 选择在这一方向上深度投入，并用实际产品与案例持续验证。每一颗 Star 的背后，都是我们持续打磨产品的动力，我们也希望用更好的产品体验回馈大家的信任。🚀 更易用的云原生部署与运维体验，让 Kafka 在云上的使用门槛大幅降低。
2025-12-31 15:40:37
385
原创 Kafka Connect x AutoMQ: Zero Cross-AZ Data Pipeline
今天，我们正式宣布：AutoMQ BYOC（Bring Your Own Cloud）正式上线 Connector 托管能力。AutoMQ 作为基于 S3 构建的新一代 Diskless Kafka，已经在存储层实现了计算存储分离与 Zero Cross-AZ（零跨可用区）复制，大幅降低了云上 Kafka 的 TCO。
2025-12-31 11:51:15
1014
原创 当 Kafka 架构显露“疲态”：共享存储领域正迎来创新变革
这种设计在 2011 年合情合理，当时我们使用私有部署服务器，本地磁盘是唯一的存储选择。在 Kafka 的体系中，“Shared-Nothing” 意味着每个 Broker 都像一个 “多疑的隐士”，彼此之间不共享任何资源 —— 无论是存储、数据，还是其他任何东西。具体而言，AutoMQ 的 Broker 是无状态的，仅作为轻量级 “交通警察”，解析 Kafka 协议并实现数据与存储之间的路由。在如今云优先的大环境下，一个多年前基于本地磁盘存储设计的系统，至今仍是众多企业的核心支撑，这着实令人意外。
2025-12-29 17:22:36
756
原创 AutoMQ x FSx: 10ms Latency Diskless Kafka on AWS
今天，我们正式宣布：继 S3 WAL、EBS/Regional EBS WAL[1] 之后，AutoMQ 将在 2025 年的 12 月的新版本中全面支持以 AWS FSx 作为新的 WAL 存储选项。AutoMQ 本身是一款完全兼容 Apache Kafka 协议、基于 S3 对象存储构建的新一代 Diskless Kafka，通过自研的「WAL + 对象存储」创新流存储引擎，将写入日志与大规模持久化存储解耦，在保证 Kafka 语义和稳定性的同时，大幅降低存储成本、简化运维，并已在行业内获得广泛认可。
2025-12-24 11:34:41
776
原创 How does AutoMQ implement a sub-10ms latency Diskless Kafka?
Running Apache Kafka in the cloud is constrained by three fundamental engineering challenges: the heavy reliance on local disks for low-latency performance, excessive cross-availability zone (AZ) data transfer costs, and the lack of elasticity caused by ti
2025-12-19 16:45:22
981
原创 Kafka 性能调优：linger.ms 和 batch.size 的最佳实践
本文回顾了 Apache Kafka 4.0 中linger.ms与batch.size参数的配置，指出了在传统串行网络模型下，客户端进行性能调优时所面临的“延迟与吞吐”权衡难题。随后，我们深入解析了 AutoMQ 的 Pipeline 机制，它通过服务端 I/O 模型的重构，解除了顺序处理与串行执行的强绑定。Pipeline 机制是 AutoMQ 云原生架构的核心特性之一，无需依赖繁琐的客户端参数调整，即可在保证数据严格顺序的前提下，实现 5 倍于传统架构的处理效率。
2025-12-10 10:32:34
1173
原创 如何选择合适的 Diskless Kafka
在本文中，我们首先审视了云原生时代 Kafka 所面临的种种挑战，剖析了Diskless Kafka架构兴起的背后动因及其核心内涵。随后，我们将目光投向了 AutoMQ 一一它是目前市场上唯一一款提供开源Diskless Kafka选项的解决方案。最后，我们从额外组件需求、写入灵活性、读取侧的数据局部性以及元数据管理这四个维度出发，深度对比了Diskless Kafka系统中的两条主流技术路线：基于 Leader（Leader-based）与无 Leader（Leaderless）架构的异同。
2025-12-01 17:20:02
973
原创 AutoMQ GitHub 突破 8,000 Star！
我们的GitHub Star用户分布图清晰地展示了AutoMQ 的全球化进程：除了深耕本土，我们在北美、欧洲等技术高地也获得了广泛关注。这充分说明 AutoMQ 提出的云原生架构精准击中了全球企业的通用痛点，具备世界级的技术竞争力。🎉 从 0 到 8000+， 这份热度的背后，是 AutoMQ 对云原生流存储的重新定义。正是这些来自世界各地的支持，构筑了我们不断创新的基石。我们的代码完全开源，让我们一起重新定义云原生流存储！
2025-11-25 16:49:36
427
原创 腾讯音乐如何基于 AutoMQ 降低 Kafka 50%+ 成本
腾讯音乐娱乐集团是中国在线音乐娱乐服务开拓者，提供在线音乐和以音乐为核心的社交娱乐两大服务。腾讯音乐娱乐在中国有着广泛的用户基础，拥有目前国内市场知名的移动音频产品：QQ 音乐、酷狗音乐、酷我音乐、全民 K 歌、懒人听书等产品。
2025-11-21 14:55:36
1290
原创 AutoMQ × RustFS: Building a new generation Diskless Kafka based on object storage
and。
2025-11-20 14:33:46
747
原创 AutoMQ 与 Tigris 宣布达成战略合作
我们非常高兴地宣布，AutoMQ 与 Tigris 正式携手合作，共同重新定义云原生实时数据基础设施的未来——助力企业将海量数据即时转化为业务价值。随着数字化与全球化浪潮的不断加速，实时数据已成为企业创新和保持竞争优势的核心支柱。然而，传统的数据架构却常常在性能与成本方面遭遇瓶颈，难以有效支撑跨区域、高增长的业务负载。
2025-11-19 11:57:36
726
原创 重磅发布｜AutoMQ v1.6.0 开源版：Kafka 成本直降 17 倍，原生支持 Strimzi 与 Iceberg
摘要：AutoMQ v1.6.0发布，三大核心升级 开源云原生消息系统AutoMQ发布1.6.0版本，带来三大突破性改进： 成本优化17倍：通过重构存储层直接写入S3，在高吞吐场景下较自建Kafka节省跨AZ流量成本1080倍，总成本降低达17.5倍； Table Topic增强：支持零ETL数据湖接入，原生解析Debezium CDC事件，实现Iceberg表的Upsert/Delete操作，摆脱Schema Registry强依赖； 完全兼容Strimzi Operator：支持K8s原生扩缩容，秒级扩
2025-10-17 09:50:09
1197
原创 活动回顾 | AutoMQ 新加坡 TOKEN2049：展示高效 Web3 数据流基础设施
TOKEN2049新加坡峰会成功举办，吸引全球25,000+参会者和500+展商，聚焦Web3前沿趋势。AutoMQ作为银牌赞助商，展示其Diskless Kafka® on S3解决方案，通过云原生技术创新解决链上数据处理痛点。峰会涵盖永续合约、RWA等热点议题，同时AutoMQ联合举办晚间交流活动，推动行业生态合作。未来AutoMQ将持续优化Web3数据基础设施，助力行业数字化发展。
2025-10-11 15:57:39
451
原创 AutoMQ 在腾讯云、腾讯音乐和京东的生产实践分享
AutoMQ 作为高性能、云原生的实时数据流平台，基于 Diskless Kafka 架构，已在腾讯云、腾讯音乐和京东的生产环境中得到广泛应用，助力构建稳定、高效且成本可控的实时数据架构。本次技术 Meetup 围绕“大规模现代化实时数据流架构”这一主题，分享 AutoMQ 在腾讯云、腾讯音乐和京东生产环境中的真实应用经验、架构优化实践与技术亮点，并对技术方案与实现思路进行深入解读与案例剖析，帮助企业更好理解现代化实时数据流架构的落地方法与最佳实践。📅 时间：10 月 20 日 19:00。
2025-10-11 14:43:05
319
原创 10.17 上海 Google Meetup：从数据出发，解锁 AI 助力增长的新边界
在数字经济与智能化浪潮下，企业如何利用数据与 AI 实现业务增长，成为每位技术与数据从业者关注的焦点。AI 技术飞速发展，如何让数据真正“活”起来，赋能业务增长，已经成为企业竞争的新边界。分享 Google Cloud 最新数据及 AI 技术，探索企业数字化转型路径。AutoMQ 将联合 WebEye 与 Google Cloud 共同举办。解读 Data Agent 如何赋能业务增长，开启智能化运营新篇章。汇聚 20+ 企业技术大咖，面对面激荡思维火花。掌握数据流转新通路，全面解析数据价值。
2025-09-30 15:49:28
288
原创 产品动态 | Kafka Linking 迁移工具上线、Table Topic发布、Azure开服
AutoMQ社区影响力持续攀升，GitHub Star突破7,000，其核心优势包括100% Kafka兼容、无状态架构和Kubernetes原生支持。最新发布Kafka零停机迁移工具、TableTopic数据湖集成功能，并新增Azure部署支持。即将上线托管Connector服务和安装体验优化，现提供14天免费试用。技术亮点涵盖弹性扩展、低成本运维和实时数据分析能力，助力企业实现云原生Kafka转型。
2025-09-29 18:56:45
965
原创 AutoMQ × Ververica：打造云原生实时数据流最佳实践！
AutoMQ与Ververica达成战略合作，共同打造云原生实时数据流处理解决方案。AutoMQ提供高弹性、低成本的Kafka兼容流存储，Ververica则基于Apache Flink提供企业级流计算能力。双方集成将解决传统架构的资源利用率低、运维复杂等问题，实现毫秒级延迟、秒级弹性伸缩和高达90%的成本优化。该方案无需重构代码即可构建端到端实时数据管道，适用于金融风控、实时推荐等场景，助力企业数字化转型。
2025-09-24 14:36:44
1024
原创 AutoMQ x Lightstreamer: Kafka 金融数据实时分发新方案
金融实时数据分发面临毫秒级延迟、高吞吐和大规模并发等挑战。文章提出结合AutoMQ与Lightstreamer的解决方案：AutoMQ通过无盘架构和S3存储实现低成本弹性扩展，保持Kafka兼容性；Lightstreamer则提供跨协议高效分发能力，支持数百万并发连接。该架构可动态应对金融数据流量波动，降低50%以上基础设施成本，并包含完整演示系统（股票行情实时推送），代码已开源。方案适用于高频交易、风险监控等场景，同时可扩展至物联网、游戏等领域。
2025-09-22 15:32:41
887
原创 AutoMQ 亮相首尔：KafkaKRU 分享日志流处理新思路
【摘要】AutoMQ作为云原生Kafka替代方案，在韩国KafkaKRU社区交流会引发关注。其创新的Diskless架构和TableTopic模型，100%兼容Kafka API的同时，实现秒级弹性扩缩容、50%云成本节省及10ms低延迟，并拓展了随机访问和实时分析能力。
2025-09-10 09:57:49
559
原创 AutoMQ 荣获 AWS Differentiated Partner 顶级认证！
【摘要】AutoMQ近日获得AWS顶级合作伙伴认证，成为AWSDifferentiatedPartner，并通过SpotReady、GravitonReady和LinuxReady三项SRP认证。这些认证验证了AutoMQ云原生Kafka方案在性能、成本控制与兼容性方面的优势，包括：利用Spot实例降低90%成本，优化Graviton处理器提升性能，以及确保与Amazon Linux2的兼容性。此外，AutoMQ还拥有SOC2、ISO27001等多项国际合规认证，为企业提供安全可靠的实时数据流解决方案。
2025-08-27 14:09:48
855
原创 技术干货｜Kafka 如何实现零停机迁移
AutoMQ Kafka Linking技术实现零停机迁移 摘要：本文介绍AutoMQ推出的Kafka Linking创新方案，解决传统Kafka迁移过程中停机时间长、数据一致性难保障等痛点。该方案通过双写机制实现Kafka与AutoMQ集群双向同步，结合滚动升级策略确保业务连续性。核心设计包括：1) Fetcher和Router角色分别负责数据同步与回写；2) 动态监控Leader变化并建立预处理队列；3) 支持多种Offset同步策略。相比MirrorMaker 2，该方案不仅能保留原始消息Offset
2025-08-12 11:09:10
1406
原创 AutoMQ × CloudCanal：打造秒级响应的实时数据架构！
摘要：AutoMQ与CloudCanal达成战略合作，推出全链路实时数据流通解决方案。AutoMQ作为云原生Kafka发行版，提供10倍成本优势和百倍弹性扩展能力；CloudCanal则提供40+数据源的自动化CDC同步能力。双方联合方案覆盖从数据库变更捕获到实时计算的全流程，实现秒级延迟、90%成本节约和简化运维，适用于用户行为分析、IoT监控、交易风控等场景。该合作将推动企业构建高性能、低成本的实时数据架构，加速业务智能化升级。
2025-08-11 14:16:39
464
原创 技术干货｜为什么越来越多企业放弃 Flink/Spark，用 AutoMQ 替代传统 ETL？
摘要：云原生时代下，Kafka与数据湖的实时集成面临ETL工具复杂、运维成本高的挑战。AutoMQ创新推出TableTopic功能，通过配置开关即可将Kafka Topic数据自动转换为Iceberg表，无需额外工具。该方案基于共享数据架构，复用Kafka协议层并重构存储，实现100%云原生兼容。关键特性包括：自动Schema管理（集成Schema Registry）、智能分区策略、高效Upsert支持，并通过Coordinator-Worker架构消除跨AZ成本。相比传统方案，AutoMQ在保持Kafka
2025-07-28 15:29:19
974
原创 AutoMQ 与 Lightstreamer 达成战略合作：NASA也在用的 Kafka 数据实时分享新架构
AutoMQ与Lightstreamer达成战略合作，共同打造高性能实时数据处理解决方案。Lightstreamer作为NASA采用的实时推送引擎，在金融、物联网等领域具备毫秒级低延迟优势；AutoMQ则以云原生Kafka平台实现存算分离和成本优化。双方合作将重点提升混合云适应性、降低运营成本并增强实时处理能力，通过技术整合提供弹性扩展、低延迟的数据服务。该合作将助力企业构建更高效的实时数据系统，加速数字化转型进程。
2025-07-17 15:48:49
508
原创 技术干货｜深度剖析将 Kafka 构建在 S3 上的技术挑战与最佳实践
摘要： AutoMQ作为开源的云原生Kafka替代方案，通过重构存储层将数据卸载至S3对象存储，显著降低了云上部署成本。文章剖析了三大技术挑战：1）延迟问题通过WAL预写日志实现毫秒级响应；2）IOPS成本采用数据批处理与压缩策略减少S3请求；3）缓存管理优化读取性能。相比传统Kafka，AutoMQ实现计算存储解耦，避免跨可用区数据复制，为云原生场景提供了高性价比的流处理解决方案。
2025-07-16 18:36:17
963
原创 AutoMQ 正式通过 SOC 2 Type II 认证
AutoMQ 成功通过严格的 SOC 2 Type II 认证，成为全球少数获得该权威安全认证的数据流平台之一。这一认证历时6-12个月审计，验证了AutoMQ在安全性、可用性、保密性等五大核心指标上的卓越表现。目前AutoMQ已构建完整合规体系，包括ISO 27001、GDPR等多项国际认证，并同步上线信任中心(trust.automq.com)提供透明化安全信息。该认证将帮助金融、医疗等行业客户快速满足合规要求，降低运营风险。AutoMQ将持续投入安全建设，为企业客户提供更可靠的云原生服务。
2025-07-16 17:55:08
568
转载 AutoMQ Table Topic——流式数据入湖最佳实践
AutoMQ基于云原生架构重塑Apache Kafka，通过共享存储实现显著降本增效。其创新点包括：1）采用对象存储替代传统三副本，存储成本降低90%；2）无状态节点设计实现秒级扩容；3）新推出的TableTopic功能统一流式与湖仓存储，自动完成Schema管理和数据格式转换，消除ETL任务。该方案在电商大促等场景下展现弹性扩展能力，同步吞吐随集群规模线性增长。目前优先支持Iceberg格式，未来计划开源并扩展对Paimon等平台的支持。
2025-07-15 14:24:02
232
原创 技术干货 | Kafka 网络成本失控？如何彻底根除 AWS、GCP 上的 Kafka 网络隐性成本？
根据 Confluent 的观察，当用户自建和管理 Apache Kafka 时，仅由于副本同步带来的跨 AZ 数据传输成本，可能会占据基础设施总成本的 50% 以上，这一数字令人惊讶。这种方式既能实现极高的吞吐量，又能保持系统架构的简洁，因为大多数与存储相关的任务由操作系统自动处理。在我之前发布的一篇关于 WarpStream [1] 的文章中，我们发现 WarpStream 通过“劫持”服务发现机制，让客户端始终连接到同一个可用区内的 Broker，从而规避了跨 AZ 的传输费用。
2025-07-11 17:52:32
636
原创 Kafka Linking：揭秘 AutoMQ 如何实现全球首个Zero-Downtime Kafka 迁移方案
AutoMQ 是一款基于云存储全新设计的 Kafka 发行版，相较传统的 Apache Kafka 拥有 10 倍的成本优势和秒级的弹性能力。
2025-05-16 15:24:44
1044
原创 XEOS 与 AutoMQ 推出联合方案，共筑云原生 Kafka 新生态
XEOS 是 XSKY 推出的企业级对象存储产品，支持无缝扩展、跨异构存储系统的统一管理、强大的应用对接、高性能访问和智能数据管理等功能，帮助企业构建安全可靠、高性能、低成本的对象存储平台，满足海量数据管理需求。企业无需牺牲数据隐私与安全，即可在本地部署中享受类似公有云的便捷性与高效性。该体系不仅保障数据的高可用性与业务连续性，还能与 AutoMQ 的高可靠性机制协同工作，有效应对突发故障、网络波动等异常情况，快速恢复服务，确保企业关键业务 7×24 小时稳定运行，满足严苛场景下的运维需求。
2025-04-07 18:26:03
897
原创 AutoMQ x OSS 的 Iceberg 数据入湖的最佳实践
阿里云 OSS 的 AZ 间流量免费，提供有竞争力的 PUT 和 GET 类 API 价格，和每月的 API 免费额度，可有效降低云上 AutoMQ方案的运行成本。COW 会将变更行所属的数据文件整个重写一遍生成新的文件，即使只更新了其中一行，该方式的查询效率最高，但需要付出较大的写入成本。当一行数据更新时，Writer 将要更新的数据特征到 DeleteFile 中，标记之前的数据被删除了，并且将更新的数据写入到 DataFile 中，通过该方式 MOR 将行更新的写入效率做到和追加写入保持一致。
2025-03-17 10:08:19
914
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人