某云在德国“柏林” SIGMOD大会放“大招” 与 DTCC 16年DB的变化-优快云博客

本文链接：https://blog.youkuaiyun.com/liuhuayang/article/details/149345275

❝
开头还是介绍一下群，如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题，有需求都可以加群群内有各大数据库行业大咖，可以解决你的问题。加群请联系 liuaustin3 ，（共3300人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9）(1 2 3 4 5 6 7群均已爆满，开8群近400 9群 200+，开10群PolarDB专业学习群 7月份开课已开课4节 100+)

云是下一代IT工作者的主要阵地，基于前瞻性和未来的发展，尤其在数据库云化越来越严重的今天，世界性的企业上迁到云上的趋势非常的明显了，集约式的工作方式，你去问一个企业，你是愿意在经济前景不明朗的今天，自己的购买主机，网络设备，雇佣一堆的基础设施建设的人，还是只需要一根网线，就可以和世界进行连接，事实已经给我们答案了。

在上个月某会议我扎心的几句，其中我问到我的老板要求用数据库的时候就缴费，不用的时候就不缴费，咱们可以做到吗？一位老师“委婉”简单的说了这个原理与他对云企业的资源管理的担心，弹性对于云企业对于资源的管控是一个大的挑战。

是的云企业对于云上资源的超卖和防止其出现问题是需要做很多的工作，SIGMOD国际计算机学会的数据库管理特别兴趣小组的会议 2025年的召开地是“德国柏林”，而此次中国的云企业针对云企业切实的云资源管理问题，给出了一个研究成果。此研究成果已经在世界级的IT杂志刊登，以下为相关的译文：

SIGMOD 此次举办地德国柏林

SIGMOD 是国际计算机学会的数据管理特别兴趣小组，专门研究大规模数据管理问题和数据库。

始于 1975 年的年度 ACM SIGMOD 会议被认为是该领域最重要的会议之一。虽然传统上该会议一直在北美举行，但它于 2004 年在巴黎、2007 年在北京、2011 年在雅典和 2015 年在墨尔本举行。1996 年至 2012 年 ACM SIGMOD 会议的平均接受率为 18%，2012 年为 17%。[1]2 SIGMOD 与SIGACT和SIGAI联合，还赞助了关于数据库系统理论方面的年度 ACM数据库系统原理研讨会（PODS）会议。PODS 始于 1982 年，自 1991 年以来一直与 SIGMOD 会议联合举行。[2]6 每年，该小组都会颁发几个奖项来表彰对数据管理领域的贡献。其中最重要的是SIGMOD Edgar F. Codd 创新奖（以计算机科学家Edgar F.Codd命名），该奖项授予 “对数据库系统和数据库的开发、理解或使用具有持久价值的创新和高度重要的贡献”。

译文：

阿里云在近期的 SIGMOD 会议上展示了一项重大研究成果：其新开发的集群管理系统 Eigen+ 在生产数据库环境中实现了 36% 的内存分配效率提升，并彻底消除了 OOM（内存溢出）错误。

这一系统解决了云服务提供商长期面临的核心难题：如何在避免灾难性 OOM 错误的前提下，最大化内存利用率以降低成本，同时保障关键应用的可用性和服务等级目标（SLO）。

根据研究论文《Eigen+: Memory Over-Subscription for Alibaba Cloud Databases》所述，Eigen+ 在设计上与 AWS、Microsoft Azure 和 Google Cloud 等主流云服务商采用的传统内存过度分配方法显著不同。这一系统已在阿里云的生产环境中全面部署。

研究表明，在在线 MySQL 集群中，Eigen+ 平均将内存分配比从 75.67% 提升至 111.88%，提升幅度达到 36.21%，且完全符合 SLO，无任何 OOM 事件发生。

对企业 IT 领导者而言，这组数据意味着在提高可靠性的同时还能实现显著的成本节省。内存分配效率提升 36%，代表着企业可以在相同硬件上运行更多数据库实例，并降低故障风险。

与主流云厂商不同的技术路径 Eigen+ 采用的是基于分类的内存管理方式，而 AWS、Azure 和 GCP 等云服务商主要依赖基于预测的内存管理策略。Everest Group 的实践总监 Kaustubh K 指出：“这种不同的技术路径使得 Eigen+ 在云数据库市场上具有更强的技术差异化，有可能影响未来其他超大规模云厂商的战略走向。”

据阿里巴巴研究人员介绍，Eigen+ 目前已部署在成千上万的数据库实例上，支持 MySQL 的 OLTP（联机事务处理）和 AnalyticDB for PostgreSQL 的 OLAP（联机分析处理）工作负载。

内存过度分配的风险所谓内存过度分配（Memory Over-Subscription），是指分配给虚拟机的内存总量超过物理内存容量。因为大多数虚拟机不会同时使用全部分配内存，这种方式被云厂商广泛采纳，提升资源利用率。

然而，对运行关键数据库的企业来说，这是一场高风险的平衡游戏。研究人员在论文中指出：“虽然内存过度分配可以提高资源利用率、支持更多实例运行，但它也增加了 OOM 错误的风险，可能破坏服务可用性并导致违反 SLO。”

尤其是在数据库领域，风险尤为严重。“数据显示，随着 OOM 事件数量增加，服务可用性显著下降，甚至低于 SLO 阈值。”传统方法试图基于历史数据预测未来内存使用趋势，并利用复杂算法将实例打包部署在服务器上。但一旦出现意外的负载波动，这类预测方法可能出现灾难性失败。

Everest Group 的 Kaustubh 强调：“消除 OOM 错误对企业 IT 至关重要，它关系到服务中断和数据丢失的风险。企业在选择云服务商时，应该重点评估其实时监控能力、租户隔离机制，以及如实时迁移、内存气球技术等过载应对策略。同时，对过度分配策略的透明度和严格遵守 SLA，也是保障系统稳定和性能一致性的关键。”

用“二八法则”代替复杂预测与其预测不可预测的内存使用模式，阿里云研究团队发现：数据库 OOM 错误遵循 “帕累托法则”（二八法则）。论文指出：“一周内内存使用变化超过 5% 的数据库实例，不超过所有实例的 5%，但却造成了超过 90% 的 OOM 错误。”

因此，Eigen+ 不再试图对所有实例做全面预测，而是将问题简化为分类任务，识别出“瞬态实例”（memory usage 波动剧烈的实例）并排除其内存过度分配资格。研究人员表示：“通过识别瞬态实例，我们将复杂的预测问题转化为更简单的二分类问题。”

AI 分类 + 多种策略估算 Eigen+ 使用机器学习分类器，根据运行时指标（内存使用率、QPS、CPU 使用率）以及元数据（实例规格、客户等级、应用类型）识别高风险实例。系统还引入马尔可夫链状态转移模型来捕捉数据库行为的时序特征，从而实现高准确率识别。

对于被认定为“稳定”的实例，Eigen+ 则根据使用模式采用不同的估算方法：包括分位数分析（percentile）、随机打包（stochastic bin packing）以及时间序列预测等。

可量化的 SLO 建模能力对企业来说最关键的是：Eigen+ 提供了可量化的 SLO 影响模型。通过二次逻辑回归（quadratic logistic regression），系统可以精确计算出维持目标 SLO 所对应的机器级内存使用阈值。

论文中写道：“利用该回归模型，我们可解出达到目标服务可用率（Ptarget）所对应的内存利用率 X。”这让企业运维人员可以明确知道可接受的过度分配上限，而不再依赖经验或保守估计。

具备应急迁移机制考虑到分类机制并非百分百准确，Eigen+ 还内建了实时迁移（Live Migration）的容错机制。当系统检测到内存使用逼近危险阈值时，会自动将实例迁移至负载更低的服务器。

在生产测试中，“最后两天内只触发了 5 次实时迁移（包括镜像数据库），这类操作对系统的影响微乎其微，验证了 Eigen+ 在保障性能稳定方面的有效性，同时也未影响用户体验。”

行业意义与竞争格局影响这项研究表明，当前主流云厂商在内存过度分配方面采用的预测模型可能过于复杂，反而不如阿里云采用的简洁分类方法有效。论文指出，Google Autopilot、AWS Aurora 和 Microsoft Azure 等产品均采用预测驱动方法，在高负载场景下容易失效。

对于正在评估云数据库服务的企业 IT 团队而言，Eigen+ 代表了阿里云在数据库可靠性与资源效率方面的潜在竞争优势，特别是在那些对稳定性与成本敏感的市场中，其技术路径可能重塑未来云数据库服务的行业标准。

title

https://www.infoworld.com/article/4016705/alibaba-cloud-launches-eigen-to-cut-costs-and-boost-reliability-for-enterprise-databases.html

----

写到最后：Eigen 集群管理系统的在某云的使用，势必会让某云的成本直线下降，同时也给企业云企业以压力，成本的降低就说明更大效率的利用云上的资源，避免超卖后的系统问题，这会让某云的数据库运行的更加的稳定，且成本更低，对于用户是好消息，对于友商必然是“噩梦”。

----

写到这里：

DTCC 大会好多年没有去了，DTCC作为国内著名的数据库盛会，我还记得我年轻的时候DTCC大会的热闹景象，我记得那时看着盖国强盖老板，那是真年轻，妥妥的帅哥一枚，年轻的盖老板颜值妥妥现在话讲的“网红小鲜肉”。时间过得太快16年过去了转眼到了2025年，数据库行业的人换了一代又一代，内容也换了又换，今年DTCC 大会多了很多AI的内容，另外我建议以后可以增加云，云原生数据库的内容，终究，阿里云，腾讯云，华为云，这三大云厂商的数据库产品差不多已经占据整体中国数据库市场的半壁江山。

这里和ITPUB的岳老师有一些私人关系，如果有想要票的话，请加微信号ITSupStar ，暗号是Austindatabases介绍来的，票的数量不多先到先得吧！