SageMaker Lakehouse：加速分析和人工智能

SageMaker Lakehouse：加速分析和人工智能

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， SageMaker Lake House， Data Lake House， Unified Data Catalog， Fine-Grained Access Control， Iceberg Compatible Apis， Redshift Managed Storage]

导读

数据仓库、数据湖，还是两者兼具？探索亚马逊SageMaker Lakehouse如何通过统一、开放和安全的数据湖仓简化分析和人工智能。本次会议揭示了SageMaker Lakehouse如何在不改变现有架构的情况下，提供对S3数据湖、Amazon Redshift数据仓库和第三方数据源的统一访问。了解它如何打破数据孤岛，并通过Apache Iceberg兼容性开放您的数据资产，提供灵活性以使用首选的查询引擎和工具，加快获得洞察的速度。探索强大的安全功能，包括一致的细粒度访问控制，帮助在不妥协的情况下实现数据民主化。

演讲精华

以下是小编为您整理的本次演讲的精华。

在数据驱动创新的领域中，亚马逊云科技在备受瞩目的re:Invent 2024大会上推出了其革命性的SageMaker Lakehouse产品。这一前沿解决方案旨在彻底改变组织利用数据力量的方式，在一个开放和统一的环境中弥合数据湖和数据仓库之间的鸿沟。

亚马逊云科技分析部门产品管理总监Nirija Randishinthala和SageMaker Lakehouse首席产品经理Mahesh Vishda作为主旨发言人登台，揭开了这一变革性产品的面纱。他们富有洞见的演讲阐明了客户在充分实现数据潜力方面所面临的挑战，以及SageMaker Lakehouse如何努力解决这些痛点。

Nirija Randishinthala首先强调了数据在推动各行业创新和数字化转型中的关键作用。她解释说，公司现在拥有创造全新体验、提高员工生产力、从海量结构化和非结构化数据中获取洞见以及释放生成式人工智能能力潜力的能力。然而，她强调要真正利用生成式人工智能的价值，一个健全的数据基础是不可或缺的先决条件。

这个数据基础包括运营数据库、数据湖、数据仓库、数据集成机制、数据治理框架和模型部署基础设施。Nirija透露，超过80%的客户已经采用了数据驱动的举措，如任命首席数据官，这凸显了人们广泛认识到数据的变革力量。尽管如此，她承认许多组织在充分实现其数据资产潜力方面仍面临挑战。

Nirija解释说，亚马逊云科技提供了一套全面的数据库服务、分析解决方案和治理能力，以满足客户的不同需求。然而，她承认客户在构建端到端数据工作流和用例时经常遇到挑战，从而阻碍了他们从数据投资中获取最大价值的能力。

Nirija阐述说，客户渴望在两个方面实现简化:一个统一的环境来消费服务，以及一种简化的数据管理方法。他们希望在不牺牲亚马逊云科技提供的丰富功能或成本效率的情况下实现这种简化。

Nirija强调，统一的数据管理是一项艰巨的任务。客户面临着数据分散在多个来源的挑战，需要复杂的管道、数据编排、工作流监控，最终将数据用于分析目的。这些数据通常存储在数据湖、数据仓库或两者的组合中，导致客户为特定用例创建多个分析数据副本。

Nirija强调，客户创建和管理这些副本并非出于娱乐，而是出于必要，因为每个系统都针对不同的用例进行了优化。数据湖擅长提供存储灵活性，支持以多种开放格式存储数据，并通过多个引擎进行访问。相反，数据仓库提供了强大的事务语义、出色的SQL性能，并为特定用例提供了简