大规模数据弹性：Amazon S3 版本控制与Clumio

大规模数据弹性：Amazon S3 版本控制与Clumio

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， Clumio Backtrack， Data Protection Amazon， Object Versioning Recovery， Clumio Backtrack Solution， S3 Bucket Management， Dynamodb Backup Restore]

导读

随着越来越多的应用程序采用Amazon S3作为主要存储，大规模架构弹性变得至关重要。本次会议介绍了Commvault的新功能，帮助您在数据层构建应用程序弹性。管理跨工作负载、存储桶、前缀和版本的数十亿Amazon S3对象可能具有挑战性。在本次会议中，了解如何使用原生Amazon S3版本控制功能，只需点击一下就可以将数据精细地恢复到任何时间点——您可以回滚整个对象版本堆栈或从次要副本中恢复。探索像您这样的应用程序管理员和DevOps团队如何将运营中断控制在最低限度。本次演示由亚马逊云科技合作伙伴Commvault为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华。

在不断演进的云计算领域中，数据保护已成为一个至关重要的问题，促使企业和组织寻求可靠的解决方案。在亚马逊云科技 re:Invent 2024大会上，Clumio云原生部门的资深CTO Wu Jung发表了一场富有洞见的演讲，深入探讨了在Amazon S3行业领先的对象存储服务背景下的数据保护问题。

Jung首先强调了Amazon S3作为众多云原生应用程序的主要存储解决方案所扮演的关键角色。他着重介绍了该服务丰富的功能集和无缝集成，这些功能在每一届re:Invent活动上都会持续推出，巩固了其作为云应用程序开发基础构建模块的地位。

Jung透露，高达7成的组织采用对象版本控制或复制作为Amazon S3存储桶的数据保护策略。然而，尽管大多数客户渴望实现特定时间点的数据恢复能力，但在大规模实现这一目标仍然是一个巨大的挑战。

Jung深入探讨了使用复制进行数据恢复的复杂性，并强调了其固有的局限性。复制是盲目操作的，会将源端的所有操作，包括意外删除，忠实地复制到目标端。因此，在发生意外删除时，仅依赖复制无法实现回滚到删除前的特定时间点，从而导致组织面临潜在的数据丢失风险。

另一方面，对象版本控制在对象级别引入了时间维度。启用版本控制后，每次更新或删除都会记录为新版本或删除标记。这一功能使组织能够通过遍历版本堆栈并撤消不需要的操作来恢复或回退单个对象。然而，Jung警告说，将此过程扩展到整个存储桶或前缀级别会变得越来越复杂，尤其是在处理包含数十亿对象的存储桶以及每小时持续创建和删除数百万对象的应用程序时。

为了说明其中的复杂性，Jung举例一个包含5个对象跨多个时间点的小型存储桶场景。他详细演示了在特定时间点T3撤消不需要操作的复杂过程，强调了需要逐个对象地遍历版本堆栈并进行必要调整以恢复到所需状态。在此示例中，存储桶最初包含4个当前版本、1个删除标记和7个非当前版本，总共存储了12个对象。

认识到这一紧迫挑战，Clumio推出了一项突破性新功能Clumio Backtrack。Backtrack与Amazon S3库存和EventBridge无缝集成，能够以有利于轻松回滚到任何特定时间点(精确到秒)的方式捕获和组织metadata。支持最高80亿个对象的存储桶，并提供15分钟的恢复点目标(RPO)，Backtrack确保了可靠和可扩展的数据恢复。

为了演示Backtrack的功能，Jung进行了一场现场演示，展示了一个1TB存储桶遭受数据损坏后的恢复场景。只需单击指定所需时间点，Backtrack就能计算并纠正版本堆栈，将数据恢复到原始未损坏状态，彰显了该解决方案的易用性和有效性。

Jung对比了Clumio Backup和Clumio Backtrack之间的根本区别。Backup捕获数据和metadata，为恢复目的创建了一个二级副本，而Backtrack仅捕获metadata，并依赖于客户存储桶中现有的对象版本。Backtrack需要启用对象版本控制，而Backup受益于版本控制但不强制要求。关键的是，Backtrack无法从永久性数据丢失中恢复，例如帐户被入侵或存储桶被完全删除，而Backup可以通过从专用的bunker帐户检索数据来恢复所有类型的数据丢失。

Jung明智地建议为启用了版本控制的存储桶启用Clumio Backtrack，因为它可以从现有的对象版本中释放额外价值，并实现存储桶级别和前缀级别的恢复。对于需要防范所有类型事故的关键存储桶，包括操作事故、攻击或帐户级别入侵，他建议升级到Clumio Backup，尽管会增加额外的存储成本，但能提供全面的数据保护。

展望未来，Jung为观众揭示了一个即将推出的Amazon DynamoDB功能。DynamoDB是Amazon的全托管NoSQL数据库服务。目前，Clumio支持DynamoDB的完全和增量备份，初始备份捕获整个表的大小，例如1TB表，后续备份仅捕获增量更改，通过与DynamoDB流和增量导出集成。

然而，从3月开始，Clumio将为DynamoDB引入细粒度和就地恢复功能，使客户能够将表中特定分区或一组项目恢复到特定时间点，而无需影响整个表或创建新表。Jung举例说明了一个客户将单个DynamoDB表用作多租户存储库的情况，在分区级别存储多个租户的数据。如果某个bug影响了特定租户(例如租户一)的数据，即将推出的细粒度恢复功能将使客户能够仅将受影响的分区号1回滚到之前的时间点，例如昨天下午5点，而不会干扰其他租户的数据，从而最大程度地减少影响并确保业务连续性。

最后，Jung重申了Clumio Backtrack在解决Amazon S3存储桶大规模数据恢复挑战方面的重要性，提供了无缝、可扩展和可靠的回滚功能。他将Backtrack定位为启用版本控制的存储桶的经济高效的第一道防线，与提供关键工作负载全面数据保护的Clumio Backup相辅相成。此外，Clumio即将推出的Amazon DynamoDB细粒度和就地恢复功能将进一步增强跨亚马逊云科技服务的数据恢复能力，使组织能够维护业务连续性并降低数据丢失风险。

下面是一些演讲现场的精彩瞬间：

演讲者介绍了一个名为Clumio Backtrack的新功能，旨在解决客户在数据恢复方面所面临的挑战。

演讲者强调了3年前推出的快速增长解决方案Clumio Backup与新发布的Backtrack解决方案的互补性，同时阐明了它们不同的使用场景。

正如每年re:Invent推出的丰富功能和集成所证明的那样，Amazon S3已从辅助存储演变为云原生应用程序的主要和基础构建块。

演讲者强调了对存储在存储桶中的关键应用程序数据进行适当数据保护的重要性，7个客户中就有10个采用了对象版本控制或复制功能。

演讲者指出，复制功能在数据恢复方面存在局限性，因为意外删除会被复制到目标位置，从而无法回滚到删除之前的特定时间点。

演讲者强调了Amazon S3中的对象版本控制功能，该功能允许您通过访问对象的版本历史记录来恢复或回退对单个对象所做的更改。

介绍DynamoDB强大的备份和恢复功能，实现无缝数据保护和恢复。

总结

在不断演进的云计算领域中，数据保护已成为依赖Amazon S3作为主要存储解决方案的企业的重中之重。Convolt公司云海军部门的首席技术官Wu Jung深入探讨了S3存储桶中数据恢复的挑战和解决方案。

首先，他强调了对象版本控制和复制作为数据保护策略的广泛采用，但同时承认这些方法在大规模实现时间点恢复方面的局限性。复制盲目复制删除操作，而版本控制虽然对单个对象有用，但在处理包含数十亿对象的大型存储桶时就变得笨重。

为解决这些挑战，Convolt推出了Clumio Backtrack新功能，该功能捕获元数据并利用本地版本进行高效恢复。通过全面演示并与Clumio Backup进行比较，Jung阐释了这些解决方案的互补性质，使用户能够根据具体需求选择合适的方法。

此外，Jung预告了即将推出的DynamoDB备份和恢复功能，彰显了Convolt为云原生应用程序提供全面数据保护解决方案的决心。有了Clumio Backtrack和Backup，企业现在可以自信地利用Amazon S3的强大功能，同时确保关键数据资产的弹性和可恢复性。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。