轻松、安全地准备、共享和查询数据

关键字: [Amazon Web Services re:Invent 2023, Data Sharing, Data Governance, Data Access, Data Driven, Data Integration]

本文字数: 1400, 阅读完需: 7 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV11a4y1R7pR

导读

企业正在寻找一种去中心化、面向域的现代数据体系结构，该体系结构支持向内部和外部客户 zero-ETL、零拷贝和受管理的数据产品共享，用户可以轻松访问。加入本论坛，学习最新的低代码亚马逊云科技分析和 ML 功能。了解如何在不复制、转换和准备数据的情况下共享数据，以及如何查询数据。

演讲精华

以下是小编为您整理的本次演讲的精华，共1100字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

演讲者在一场富有洞察力的演讲中热情地欢迎观众，主题是关于如何轻松且安全地准备、共享和查询数据。作为亚马逊云科技（Amazon Web Services）的主要专家，主持人Navneet介绍了他的专业领域，主要为生物制药和医疗保健公司制定数据战略。与他一同登台的还有两位同事——Jason Berkowitz和Raj Kumar，前者负责亚马逊云科技的数据湖服务（如Lake Formation和Glue）的产品开发，后者来自Salesforce，负责数据云产品。

Navneet首先强调了数据孤岛是当前许多组织面临的一个主要挑战。公司的数据通常分散在不同的孤立孤岛中，与业务线、部门或其他领域相对应。在这些不同的数据孤岛中搜索和分析信息可能会非常困难。为了充分利用其数据，组织需要能够无缝地将数据作为整个企业的资产共享。

接下来，演讲者提出了数据驱动型企业具有巨大竞争优势的观点。据Forrester研究，数据驱动的企业比不太依赖数据的对标企业高8.5倍的可能性实现显著的收入增长。然而，目前只有26%的公司可以被称为真正数据驱动的，这表明了一个巨大的机遇。成为数据驱动的公司需要将数据作为可以在整个业务中轻松访问和共享的核心组织资产，而不是被困在部门孤岛中。

随后，Navneet展示了亚马逊云科技的数据治理框架，该框架由三个支柱组成：了解、保护和整理数据。了解支柱侧重于对数据源进行编目，附加有意义的业务元数据，支持发现等。保护包括用强大的控制和策略保护数据访问和共享。最后，整理包括了用于准备的数据集成服务和主数据管理。虽然组织不必从一开始就在所有领域都具有完全成熟的能力，但该框架提供了关于现代数据治理基础的关键要素的指导。

中心辐射式、数据网格、企业对企业以及合作伙伴协作等模式在亚马逊云科技中得以实现。这些服务模式包括Lake Formation、Data Exchange和Clean Rooms等。中心辐射式主要涉及从中央中心向各个业务部门使用者共享数据，进行集中化管理控制。数据网格在此基础上进一步发展，实现了分散的所有权和共享，其中的生产者也可以成为有益循环中的消费者。企业对企业及合作伙伴协作则将安全数据共享扩展至公司外的外部合作伙伴和市场。

亚马逊云科技近期推出了Amazon DataZone，这项服务旨在协助用户管理访问权限并推动数据共享方面的合作。其主要功能包括维护商业词汇表，通过目录启用数据发现，为用户创建项目和沙盒以进行合作，以及自动化元数据标签。相较于传统的IT驱动治理，DataZone使得团队能够为其项目和用例自助获取数据，同时确保遵守安全策略和合规控制。

来自亚马逊云科技的Jason详细阐述了Lake Formation和Glue Data Catalog如何简化数据访问、共享和管理。他强调，亚马逊云科技致力于提供开放式方法，以及优秀的服务如Lake Formation和Glue，合作伙伴可以在其上构建，再加上整体的解决方案如DataZone。Glue Data Catalog作为数据湖和仓库的技术目录，对数据进行分类和索引，以支持发现。Lake Formation则根据业务本体（如部门、项目及其他标签）提供基于政策的行级、列级和表级的安全共享数据访问。

Jason强调，防止“数据访问蔓延”的重要性，随着组织内共享的扩大。Lake Formation允许公司采用更系统的基于业务本体的做法，而非单独分配权限，从而简化管理并保持数据访问与企业需求保持一致。另一个关键好处是委托管理，即数据所有者或管理员可以为其领域管理共享，而不必依赖集中的IT瓶颈。

几位演讲者探讨了如何利用亚马逊云科技（Amazon Web Services）的实时数据共享功能简化跨账户和地区的数据共享过程，避免繁琐的ETL流程。通过Redshift数据共享，可以实现事务一致性访问数据以进行BI分析，同时避免重复数据的问题。借助CloudTrail Lake，用户可以直接使用Athena查询CloudTrail日志，每天新增超过1230亿个管理事件。Glue Views为Athena、EMR和Redshift等引擎提供了一个统一的SQL视图层。

第三位演讲者Jason讲述了自己早期职业生涯中努力构建复杂管道提取Salesforce CRM数据的故事，这让他对与Salesforce的Raj讨论其Data Cloud产品充满热情。Raj解释了Salesforce Data Cloud如何通过实时消除来自不同来源（如亚马逊云科技（Amazon Web Services）的实时数据统一服务）的数据负担，从而解决这些问题。

Raj详细介绍了Salesforce Data Cloud的功能，包括应用程序和数据源连接器、数据预处理、身份识别和解散以及激活。它基于Salesforce的Hyperforce公共云基础设施，每月处理超过2万亿条记录。Raj强调了Data Cloud的实时数据统一功能和到亚马逊云科技（Amazon Web Services）的零ETL共享如何共同实现卓越的客户体验。

Raj还通过演示展示了分析师如何简单地将Redshift数据即时联合到Data Cloud中进行分析，无需编写任何复杂的集成代码。分析师还可以轻松地对联合数据进行映射和建模，激活活动分段并进行营销，然后将结果回传到Redshift，无需工程努力。Raj总结说，这种无摩擦的数据共享支持Salesforce的客户360平台。

演讲者强调了解决方案如何轻松且安全地共享数据，从而释放巨大价值，使公司能够跨越孤岛和业务线统一数据，成为真正以数据为导向的公司。亚马逊云科技（Amazon Web Services）和Salesforce通过治理、编目、访问控制和零ETL共享来提供互补功能，同时满足数据生产者和使用者的需求。能够利用现代数据平台将数据作为战略资产的组织将迎来美好的未来。

下面是一些演讲现场的精彩瞬间：

数据治理在遵循法规的同时，使得各个业务部门能够充分利用数据。

演讲者强调了创建目录以便于数据查找和搜索的重要性，这成为了数据治理的关键组成部分之一。

通过安全可靠的工作流程，数据共享得以实现用户对数据的自主访问。

领导者们讨论了实施数据网格以及利用亚马逊云科技服务（例如Lake Formation和DataZone）实现在生产者与消费者之间的双向数据共享的潜力。

借助亚马逊云科技的数据共享功能，可以实现高效且可靠的数据传输，同时避免重复数据和破坏ETL过程。

领导者们呼吁观众们向亚马逊云科技解决方案架构师提问，以解决他们可能遇到的任何疑问。

总结

视频探讨了如何在其组织中安全地共享和管理数据，以支持增长战略。演讲者强调，无法访问或孤立的数据将阻碍洞察力的实现。他们介绍了亚马逊的数据治理框架，包括了解、保护和整理数据的过程。关键要素包括利用业务元数据对数据进行编目，以便轻松查找；实施严格的访问控制；并允许自助服务访问。亚马逊的Lake Formation和数据目录服务允许集中审计和访问控制。例如，Redshift这样的数据共享选项可实现实时、安全的数据访问。新功能，如Glue视图，简化了跨引擎数据访问。通过与外部合作伙伴共享数据，可以使用Data Exchange和Clean Room等选项来实现安全的合作。Salesforce的数据云与亚马逊云科技集成，实现实时数据联合和共享，无需ETL过程。这提高了数据的时效性并降低了成本。总之，无论是否与合作伙伴共享数据，适当的数据管理和共享对于组织成为数据驱动的关键都至关重要。亚马逊云科技提供了在保持安全性、治理和访问控制的同时实现这一目标的解决方案。

演讲原文

https://blog.youkuaiyun.com/just2gooo/article/details/134832213

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。