- 博客(143)
- 收藏
- 关注
RSS订阅原创 腾讯音乐如何基于 AutoMQ 降低 Kafka 50%+ 成本
腾讯音乐娱乐集团是中国在线音乐娱乐服务开拓者，提供在线音乐和以音乐为核心的社交娱乐两大服务。腾讯音乐娱乐在中国有着广泛的用户基础，拥有目前国内市场知名的移动音频产品：QQ 音乐、酷狗音乐、酷我音乐、全民 K 歌、懒人听书等产品。
2025-11-21 14:55:36
1025
原创 AutoMQ × RustFS: Building a new generation Diskless Kafka based on object storage
and。
2025-11-20 14:33:46
620
原创 AutoMQ 与 Tigris 宣布达成战略合作
我们非常高兴地宣布，AutoMQ 与 Tigris 正式携手合作，共同重新定义云原生实时数据基础设施的未来——助力企业将海量数据即时转化为业务价值。随着数字化与全球化浪潮的不断加速，实时数据已成为企业创新和保持竞争优势的核心支柱。然而，传统的数据架构却常常在性能与成本方面遭遇瓶颈，难以有效支撑跨区域、高增长的业务负载。
2025-11-19 11:57:36
661
原创 重磅发布｜AutoMQ v1.6.0 开源版：Kafka 成本直降 17 倍，原生支持 Strimzi 与 Iceberg
摘要：AutoMQ v1.6.0发布，三大核心升级 开源云原生消息系统AutoMQ发布1.6.0版本，带来三大突破性改进： 成本优化17倍：通过重构存储层直接写入S3，在高吞吐场景下较自建Kafka节省跨AZ流量成本1080倍，总成本降低达17.5倍； Table Topic增强：支持零ETL数据湖接入，原生解析Debezium CDC事件，实现Iceberg表的Upsert/Delete操作，摆脱Schema Registry强依赖； 完全兼容Strimzi Operator：支持K8s原生扩缩容，秒级扩
2025-10-17 09:50:09
1034
原创 活动回顾 | AutoMQ 新加坡 TOKEN2049：展示高效 Web3 数据流基础设施
TOKEN2049新加坡峰会成功举办，吸引全球25,000+参会者和500+展商，聚焦Web3前沿趋势。AutoMQ作为银牌赞助商，展示其Diskless Kafka® on S3解决方案，通过云原生技术创新解决链上数据处理痛点。峰会涵盖永续合约、RWA等热点议题，同时AutoMQ联合举办晚间交流活动，推动行业生态合作。未来AutoMQ将持续优化Web3数据基础设施，助力行业数字化发展。
2025-10-11 15:57:39
367
原创 AutoMQ 在腾讯云、腾讯音乐和京东的生产实践分享
AutoMQ 作为高性能、云原生的实时数据流平台，基于 Diskless Kafka 架构，已在腾讯云、腾讯音乐和京东的生产环境中得到广泛应用，助力构建稳定、高效且成本可控的实时数据架构。本次技术 Meetup 围绕“大规模现代化实时数据流架构”这一主题，分享 AutoMQ 在腾讯云、腾讯音乐和京东生产环境中的真实应用经验、架构优化实践与技术亮点，并对技术方案与实现思路进行深入解读与案例剖析，帮助企业更好理解现代化实时数据流架构的落地方法与最佳实践。📅 时间：10 月 20 日 19:00。
2025-10-11 14:43:05
212
原创 10.17 上海 Google Meetup：从数据出发，解锁 AI 助力增长的新边界
在数字经济与智能化浪潮下，企业如何利用数据与 AI 实现业务增长，成为每位技术与数据从业者关注的焦点。AI 技术飞速发展，如何让数据真正“活”起来，赋能业务增长，已经成为企业竞争的新边界。分享 Google Cloud 最新数据及 AI 技术，探索企业数字化转型路径。AutoMQ 将联合 WebEye 与 Google Cloud 共同举办。解读 Data Agent 如何赋能业务增长，开启智能化运营新篇章。汇聚 20+ 企业技术大咖，面对面激荡思维火花。掌握数据流转新通路，全面解析数据价值。
2025-09-30 15:49:28
245
原创 产品动态 | Kafka Linking 迁移工具上线、Table Topic发布、Azure开服
AutoMQ社区影响力持续攀升，GitHub Star突破7,000，其核心优势包括100% Kafka兼容、无状态架构和Kubernetes原生支持。最新发布Kafka零停机迁移工具、TableTopic数据湖集成功能，并新增Azure部署支持。即将上线托管Connector服务和安装体验优化，现提供14天免费试用。技术亮点涵盖弹性扩展、低成本运维和实时数据分析能力，助力企业实现云原生Kafka转型。
2025-09-29 18:56:45
912
原创 AutoMQ × Ververica：打造云原生实时数据流最佳实践！
AutoMQ与Ververica达成战略合作，共同打造云原生实时数据流处理解决方案。AutoMQ提供高弹性、低成本的Kafka兼容流存储，Ververica则基于Apache Flink提供企业级流计算能力。双方集成将解决传统架构的资源利用率低、运维复杂等问题，实现毫秒级延迟、秒级弹性伸缩和高达90%的成本优化。该方案无需重构代码即可构建端到端实时数据管道，适用于金融风控、实时推荐等场景，助力企业数字化转型。
2025-09-24 14:36:44
918
原创 AutoMQ x Lightstreamer: Kafka 金融数据实时分发新方案
金融实时数据分发面临毫秒级延迟、高吞吐和大规模并发等挑战。文章提出结合AutoMQ与Lightstreamer的解决方案：AutoMQ通过无盘架构和S3存储实现低成本弹性扩展，保持Kafka兼容性；Lightstreamer则提供跨协议高效分发能力，支持数百万并发连接。该架构可动态应对金融数据流量波动，降低50%以上基础设施成本，并包含完整演示系统（股票行情实时推送），代码已开源。方案适用于高频交易、风险监控等场景，同时可扩展至物联网、游戏等领域。
2025-09-22 15:32:41
760
原创 AutoMQ 亮相首尔：KafkaKRU 分享日志流处理新思路
【摘要】AutoMQ作为云原生Kafka替代方案，在韩国KafkaKRU社区交流会引发关注。其创新的Diskless架构和TableTopic模型，100%兼容Kafka API的同时，实现秒级弹性扩缩容、50%云成本节省及10ms低延迟，并拓展了随机访问和实时分析能力。
2025-09-10 09:57:49
510
原创 AutoMQ 荣获 AWS Differentiated Partner 顶级认证！
【摘要】AutoMQ近日获得AWS顶级合作伙伴认证，成为AWSDifferentiatedPartner，并通过SpotReady、GravitonReady和LinuxReady三项SRP认证。这些认证验证了AutoMQ云原生Kafka方案在性能、成本控制与兼容性方面的优势，包括：利用Spot实例降低90%成本，优化Graviton处理器提升性能，以及确保与Amazon Linux2的兼容性。此外，AutoMQ还拥有SOC2、ISO27001等多项国际合规认证，为企业提供安全可靠的实时数据流解决方案。
2025-08-27 14:09:48
805
原创 技术干货｜Kafka 如何实现零停机迁移
AutoMQ Kafka Linking技术实现零停机迁移 摘要：本文介绍AutoMQ推出的Kafka Linking创新方案，解决传统Kafka迁移过程中停机时间长、数据一致性难保障等痛点。该方案通过双写机制实现Kafka与AutoMQ集群双向同步，结合滚动升级策略确保业务连续性。核心设计包括：1) Fetcher和Router角色分别负责数据同步与回写；2) 动态监控Leader变化并建立预处理队列；3) 支持多种Offset同步策略。相比MirrorMaker 2，该方案不仅能保留原始消息Offset
2025-08-12 11:09:10
1283
原创 AutoMQ × CloudCanal：打造秒级响应的实时数据架构！
摘要：AutoMQ与CloudCanal达成战略合作，推出全链路实时数据流通解决方案。AutoMQ作为云原生Kafka发行版，提供10倍成本优势和百倍弹性扩展能力；CloudCanal则提供40+数据源的自动化CDC同步能力。双方联合方案覆盖从数据库变更捕获到实时计算的全流程，实现秒级延迟、90%成本节约和简化运维，适用于用户行为分析、IoT监控、交易风控等场景。该合作将推动企业构建高性能、低成本的实时数据架构，加速业务智能化升级。
2025-08-11 14:16:39
365
原创 技术干货｜为什么越来越多企业放弃 Flink/Spark，用 AutoMQ 替代传统 ETL？
摘要：云原生时代下，Kafka与数据湖的实时集成面临ETL工具复杂、运维成本高的挑战。AutoMQ创新推出TableTopic功能，通过配置开关即可将Kafka Topic数据自动转换为Iceberg表，无需额外工具。该方案基于共享数据架构，复用Kafka协议层并重构存储，实现100%云原生兼容。关键特性包括：自动Schema管理（集成Schema Registry）、智能分区策略、高效Upsert支持，并通过Coordinator-Worker架构消除跨AZ成本。相比传统方案，AutoMQ在保持Kafka
2025-07-28 15:29:19
837
原创 AutoMQ 与 Lightstreamer 达成战略合作：NASA也在用的 Kafka 数据实时分享新架构
AutoMQ与Lightstreamer达成战略合作，共同打造高性能实时数据处理解决方案。Lightstreamer作为NASA采用的实时推送引擎，在金融、物联网等领域具备毫秒级低延迟优势；AutoMQ则以云原生Kafka平台实现存算分离和成本优化。双方合作将重点提升混合云适应性、降低运营成本并增强实时处理能力，通过技术整合提供弹性扩展、低延迟的数据服务。该合作将助力企业构建更高效的实时数据系统，加速数字化转型进程。
2025-07-17 15:48:49
424
原创 技术干货｜深度剖析将 Kafka 构建在 S3 上的技术挑战与最佳实践
摘要： AutoMQ作为开源的云原生Kafka替代方案，通过重构存储层将数据卸载至S3对象存储，显著降低了云上部署成本。文章剖析了三大技术挑战：1）延迟问题通过WAL预写日志实现毫秒级响应；2）IOPS成本采用数据批处理与压缩策略减少S3请求；3）缓存管理优化读取性能。相比传统Kafka，AutoMQ实现计算存储解耦，避免跨可用区数据复制，为云原生场景提供了高性价比的流处理解决方案。
2025-07-16 18:36:17
866
原创 AutoMQ 正式通过 SOC 2 Type II 认证
AutoMQ 成功通过严格的 SOC 2 Type II 认证，成为全球少数获得该权威安全认证的数据流平台之一。这一认证历时6-12个月审计，验证了AutoMQ在安全性、可用性、保密性等五大核心指标上的卓越表现。目前AutoMQ已构建完整合规体系，包括ISO 27001、GDPR等多项国际认证，并同步上线信任中心(trust.automq.com)提供透明化安全信息。该认证将帮助金融、医疗等行业客户快速满足合规要求，降低运营风险。AutoMQ将持续投入安全建设，为企业客户提供更可靠的云原生服务。
2025-07-16 17:55:08
430
转载 AutoMQ Table Topic——流式数据入湖最佳实践
AutoMQ基于云原生架构重塑Apache Kafka，通过共享存储实现显著降本增效。其创新点包括：1）采用对象存储替代传统三副本，存储成本降低90%；2）无状态节点设计实现秒级扩容；3）新推出的TableTopic功能统一流式与湖仓存储，自动完成Schema管理和数据格式转换，消除ETL任务。该方案在电商大促等场景下展现弹性扩展能力，同步吞吐随集群规模线性增长。目前优先支持Iceberg格式，未来计划开源并扩展对Paimon等平台的支持。
2025-07-15 14:24:02
162
原创 技术干货 | Kafka 网络成本失控？如何彻底根除 AWS、GCP 上的 Kafka 网络隐性成本？
根据 Confluent 的观察，当用户自建和管理 Apache Kafka 时，仅由于副本同步带来的跨 AZ 数据传输成本，可能会占据基础设施总成本的 50% 以上，这一数字令人惊讶。这种方式既能实现极高的吞吐量，又能保持系统架构的简洁，因为大多数与存储相关的任务由操作系统自动处理。在我之前发布的一篇关于 WarpStream [1] 的文章中，我们发现 WarpStream 通过“劫持”服务发现机制，让客户端始终连接到同一个可用区内的 Broker，从而规避了跨 AZ 的传输费用。
2025-07-11 17:52:32
552
原创 Kafka Linking：揭秘 AutoMQ 如何实现全球首个Zero-Downtime Kafka 迁移方案
AutoMQ 是一款基于云存储全新设计的 Kafka 发行版，相较传统的 Apache Kafka 拥有 10 倍的成本优势和秒级的弹性能力。
2025-05-16 15:24:44
924
原创 XEOS 与 AutoMQ 推出联合方案，共筑云原生 Kafka 新生态
XEOS 是 XSKY 推出的企业级对象存储产品，支持无缝扩展、跨异构存储系统的统一管理、强大的应用对接、高性能访问和智能数据管理等功能，帮助企业构建安全可靠、高性能、低成本的对象存储平台，满足海量数据管理需求。企业无需牺牲数据隐私与安全，即可在本地部署中享受类似公有云的便捷性与高效性。该体系不仅保障数据的高可用性与业务连续性，还能与 AutoMQ 的高可靠性机制协同工作，有效应对突发故障、网络波动等异常情况，快速恢复服务，确保企业关键业务 7×24 小时稳定运行，满足严苛场景下的运维需求。
2025-04-07 18:26:03
854
原创 AutoMQ x OSS 的 Iceberg 数据入湖的最佳实践
阿里云 OSS 的 AZ 间流量免费，提供有竞争力的 PUT 和 GET 类 API 价格，和每月的 API 免费额度，可有效降低云上 AutoMQ方案的运行成本。COW 会将变更行所属的数据文件整个重写一遍生成新的文件，即使只更新了其中一行，该方式的查询效率最高，但需要付出较大的写入成本。当一行数据更新时，Writer 将要更新的数据特征到 DeleteFile 中，标记之前的数据被删除了，并且将更新的数据写入到 DataFile 中，通过该方式 MOR 将行更新的写入效率做到和追加写入保持一致。
2025-03-17 10:08:19
848
原创 京东 x AutoMQ x CubeFS: 万亿级 Kafka 消息规模下的降本增效之旅
京东内部使用基于 Apache Kafka 构建的 JDQ 来支持其平台业务。JDQ 是京东集团大数据平台统一的实时数据总线，赋能集团内部京东零售、物流、科技、健康、安联等 40 多个一级部门，搜索推荐、广告、点击流、实时大屏等1400+的业务线。JDQ 当前集群规模多达 6000 多个节点，每天产生的记录数达15 万亿，峰值出带宽达到1TB/s。JDQ 平台采用 Kubernetes 进行有状态服务编排，通过 StatefulSet 控制器管理整个集群，支持多种存储方案和服务访问方式。
2025-03-03 15:03:20
597
原创 AutoMQ：无需 Cruise Control 实现 Kafka 的自动分区再平衡
如果你在公司内部管理过 Kafka 部署，可能会执行跨集群分区重新分配操作。由于 Kafka 中计算和存储的紧密耦合，当集群成员发生变化（如添加或移除 broker）或用户希望在 broker 之间平衡负载时，分区副本需要重新分配到不同的 broker，从而导致数据迁移。虽然 Kafka 提供了处理重新分配过程的脚本，但它需要用户干预，并且在规划方面缺乏稳健性。诸如 Cruise Control 之类的工具，基于集群状态提供自动化的副本平衡，并提供更详细的重新分配规划。然而，数据迁移的问题仍然存在。
2025-02-28 10:08:15
1265
原创 百行代码实现 Kafka 运行在 S3 之上
本文通过介绍 AutoMQ 存储架构背后的思考和演进为大家揭示了其最核心的基于 Shared WAL 的共享存储架构理念。而未来，AutoMQ 也将持续优化基于这套抽象的流存储引擎底座的能力，在其上为大家构建更加强大的 Kafka 流服务。不久的将来，S3E1Z WAL 也将正式和大家见面，请大家对我们保持关注。
2025-02-25 09:38:09
787
原创 AutoMQ 可观测性实践：如何使用 OpenTelemetry 监控 Kafka 和底层流存储
我们在之前的文章里介绍了 AutoMQ 如何与 Prometheus、观测云[1]、夜莺监控[2]等后端进行集成并实现对 AutoMQ 的监控，本文将进一步介绍 AutoMQ 的可观测性架构，以及 AutoMQ 如何实现多云可观测性。本文从各个方面对 AutoMQ 的可观测架构及集成进行了介绍，并结合 AutoMQ 的实际案例探讨了指标的具体优化实践。
2025-02-25 09:36:42
608
原创 通过 Airbyte 将数据从 AutoMQ 迁移同步到云数仓
随着实时数据处理需求的不断增加，企业需要更加高效和灵活的数据集成解决方案。AutoMQ [1] 作为一种基于云重新设计的 Kafka 消息系统，以其显著的成本优势和弹性能力，成为了企业的理想选择。通过将 AutoMQ 与 Airbyte [2] 和数据仓库集成，可以进一步简化数据集成流程并提升数据分析能力，从而实现实时数据的高效流动和分析，帮助企业快速做出明智决策。这篇文章将向你介绍如何集成这些组件。
2025-02-24 10:15:34
1122
原创 AutoMQ 集成 Debezium
在现代企业中，数据处理需求的不断增长使得实时监控和响应数据库变化变得尤为重要。无论是电商平台的订单处理、库存管理，还是金融系统的交易监控，都需要对数据库中的变化进行实时捕捉和处理。这不仅能提高系统响应速度，还能在数据发生变化时及时采取相应的业务操作。为了实现这一目标，本文将介绍如何使用 Debezium [1] 监测 MySQL 数据库的变化，并将这些变化事件发送到 AutoMQ [2] 中。AutoMQ 作为一种高效、低成本的流处理系统，具有高弹性和高可用性，是企业实时数据处理的理想选择。
2025-02-24 09:41:44
988
原创 AutoMQ 集成 Prometheus/VictoriaMetrics
AutoMQ 是一种基于云重新设计的流处理系统，它在保持与 Apache Kafka 100%兼容的前提下，通过将存储分离至对象存储，显著提升了系统的成本效益和弹性能力。具体来说，AutoMQ 通过构建在 S3 上的流存储库 S3Stream，将存储卸载至云厂商提供的共享云存储 EBS 和 S3，提供低成本、低延时、高可用、高可靠和无限容量的流存储能力。
2025-02-21 09:36:37
1107
原创 恭喜 AutoMQ 签约客攀科技应用在 AI 广告大模型
依托 LLM 驱动的实时推理引擎，其可实现跨平台广告策略的动态调优，日均处理百亿级营销数据点。与 DeepSeek 通过技术创新来降低 LLM 训练推理成本有异曲同工之妙的地方在于 AutoMQ 也通过基于 EBS WAL 和 S3 的共享存储架构对 Kafka 架构进行创新，在保证 Kafka 100% 兼容性的基础上可以帮助客户降低 至少 50% 以上的 Kafka 成本。AutoMQ 在 Kafka 架构上的创新以及带来的性能和成本效果获得了 Apollo 公司的认可，成为对方选择我们的重要原因。
2025-02-19 16:34:55
489
原创 使用 AutoMQ 和 Tinybird 分析用户网购行为
在当前竞争激烈的市场环境中，数据分析已成为企业实现差异化和精准营销的关键。通过分析用户行为数据，企业能够深入了解用户的习惯、偏好和行为模式，从而更精准地定位目标市场，制定个性化营销策略，并提供定制化推荐和服务。在流处理和数据分析场景中，Kafka[1] 作为高吞吐量、低延迟的分布式消息系统，已成为这一领域的核心基础设施。而AutoMQ[2] 基于云重新设计了 Kafka，将存储分离至对象存储，并在与 Apache Kafka 100%兼容的基础上，为用户提供高达 10 倍的成本优势和百倍的弹性。同样，
2025-02-14 09:56:01
1004
原创 原理剖析：一文搞懂 Kafka Producer（下）
至此，我们已经对 Apache Kafka 的生产者进行了完整和深度的解析。如果这些内容对你有所收获，也欢迎访问AutoMQ官方网站，关注我们的官方社交媒体。
2025-02-13 17:29:54
1189
原创 原理剖析：一文搞懂 Kafka Producer（上）
今天给大家带来的是 Kafka Producer 的全方位解析（基于[2]）。考虑到篇幅限制，本文分为上下两篇，上篇将介绍 Kafka Producer 的使用方法与实现原理，下篇将介绍 Kafka Producer 的实现细节与常见问题。
2025-02-13 13:43:57
1173
原创 Apache Kafka 中的认证、鉴权原理与应用
本文概述了 Kafka 中的认证协议和鉴权策略。首先介绍了 listener 与安全协议的映射，以及安全协议与认证方法的映射。接着分别介绍 Kafka 中支持的多种认证协议，以及 ACL 鉴权策略。在认证通过后，Kafka 会生成一个认证主体，供上层进行细粒度的鉴权。最后介绍了如何对一个运行中的 Kafka 集群中进行认证协议升级以及开启鉴权。
2025-02-12 10:21:35
1280
原创 解读 Flink Source 接口重构后的 KafkaSource
AutoMQ 作为 Apache Kafka 的社区分叉项目，对其存储层进行了重新设计与实现，但是完整保留了 Apache Kafka 计算层的代码。对于 Apache Kafka 具有 100% 的兼容性。这意味着在 Flink 生态系统中，专为 Kafka 开发的 Flink Kafka Source/Sink 可以与 AutoMQ 完全兼容。
2025-02-12 10:17:17
1334
原创 系统稳定性的基石：限流在 AutoMQ 中的最佳实践
限流是系统在应对突发流量时保证自身运行稳定性而采取的典型操作，常见的的限流算法有固定窗口限流、滑动窗口限流、令牌桶限流和漏桶限流等 [1]，具体的算法原理和实现方式当前已有大量文章介绍，本文不再赘述。本文将着重介绍 AutoMQ 中如何通过限流机制应对不同场景的需求。本文介绍了 AutoMQ 如何利用限流机制进行流量平滑和分级控制，保障系统在复杂生产环境下的平稳运行。
2025-02-11 14:00:04
322
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人