如何将数据治理与数据安全平台结合（翻译稿）-优快云博客

原标题：为什么数据团队应将Unity Catalog与数据安全平台相结合（翻译稿）

今年4月，Databricks宣布它的标准Tier Workspaces终止服务，这意味着在2025年4月25日之前，Databricks客户将需要升级他们的Workspace到高级或企业级版，或者迁移到不同的平台。对于目前正在使用Tier workspaces数据团队来说，这将是一个困难的决定。一个需要考虑的重要因素是，升级Workspace需要导入使用Unity Catalog（注释：Unity Catalog是DataBricks数据治理解决方案）。

在介绍Unity Catalog系列的首篇文章中，我们概述过Unity Catalog，介绍了它在数据访问控制领域的主要功能和局限性。为了深入探讨这个话题，本文将聚焦于将Databricks Unity Catalog与TrustZ的数据安全平台集成的价值，以便在整个数据栈中，包括：Databricks内部或外部，都能实现全面的数据管理和治理。

Unity Catalog与数据安全平台（DSP）更好地结合

数据安全平台的主要功能是确保数据的安全访问，允许高效的策略管理，并使合规变得简单。这有助于降低风险、防止数据泄露、简化审计、并提高数据团队的工作效率。

通过将Databricks的Unity Catalog强大的访问控制功能与TrustZ数据安全平台的高级功能相结合，可以构建一个顶级的数据访问与安全管理系统。TrustZ能够增强Unity Catalog的基本访问控制功能，使其能够应对复杂的使用场景，并为数据平台提供更全面的安全保障。

统一访问控制管理

TrustZ将安全策略落实到组织的所有数据库、数据仓库和数据湖，无需修改数据模型。所有控制和分析报告集中在一个平台上，减少了单点访问控制解决方案带来的不断切换的麻烦。

例如：ACME在Databricks平台（配有Unity Catalog）上存储数据，但同时也使用Microsoft SQL Server和其他数据及分析平台。通过TrustZ可以从统一的平台设置安全和访问策略，这些策略可以在所有数据和分析平台上统一落地。

自助服务数据门户

TrustZ的愿景是帮助数据团队与数据一起共赢，永不会失去控制。我们理解，客户在保持数据安全和合规的同时，高效工作的一种最佳方式是使用自助数据访问TrustZ平台随时随地与数据消费者协作，允许数据消费者通过直观的数据门户、Slack、Jira和Salesforce等平台，甚至命令行快速请求和访问数据。

RBAC、ABAC与即时（JIT）数据访问

RBAC、ABAC以及即时（JIT）访问：ABAC能够让您根据用户的身份而非其行为来制定数据安全策略。另一个常被忽略的重要事情是临时数据访问，亦称为即时（JIT）数据访问。这一特性允许用户在限定时间内访问敏感数据，到期则需重新申请访问权限。

动态数据脱敏

过去，Unity Catalog上的动态脱敏需要创建动态视图，这增加了设置和维护开销。如今，Unity Catalog支持直接在表上进行数据脱敏，这是一个明显的改进。

TrustZ将Unity Catalog的数据脱敏功能提升到了一个新的水平，特别是对于非技术的合规团队。如果不是数据工程师，Unity Catalog的学习曲线会更陡峭。TrustZ中的数据脱敏则很容易。有几个原因；首先，通过TrustZ数据门户，用户可以在多个数据存储和BI工具中统一脱敏，无需额外配置。此外，用户可以创建可重用的脱敏配置，这些配置定义了在设置安全策略时应用于每种指定数据的转换方式。脱敏配置可以应用于TrustZ的数据分类和标记机制检测，以及标记的数据，这都是完全自动化定义过程。

额外的数据治理益处

Unity Catalog强大的访问控制功能与TrustZ的数据安全平台（DSP）相结合，能够满足组织更为广泛的数据治理需求。

自动敏感数据发现

数据漏洞在哪里？保护数据的第一步，在于明确哪些数据需要保护及其所在位置。TrustZ数据安全平台（DSP）通过提供自动敏感数据发现功能，进一步强化了Unity Catalog的能力。TrustZ平台会持续扫描整个数据环境，以识别出所有敏感信息，确保不会遗漏。

自动数据分类和打标

你正在处理哪种类型的数据？TrustZ数据安全平台（DSP）不仅能发现敏感数据，还能自动对其进行分类和打标。自动确定数据的特征（如：个人身份信息、财务或客户数据），并相应地打上标签。此功能与Unity灵活的基于角色的访问控制完美结合，允许您的团队根据数据类型和数据敏感性落实权限管理。

TrustZ扫描所有数据以定位敏感信息，并根据预先存在的分类器自动对敏感数据进行分类。此外，如果数据管家想修改TrustZ预定义的分类器,也可以很容易地实现。

数据安全态势管理（DSPM）

你的安全防御究竟有多坚固？Databricks的访问控制功能可实现管理不同数据的访问权限。然而，如何确保这些控制措施能够有效保护那些易受攻击的数据呢？这时，就轮到TrustZ的DSPM登场了。它能够持续监控并管理组织的数据安全态势，提供宝贵洞察力和切实可行的建议，加强安全防护措施。

统一的审计视图证明合规性

数据安全策略是否合规？使用TrustZ数据安全平台（DSP），可以对整个数据环境的数据访问进行审计。通过DSP可以在统一页面全面查看所有数据访问、修改、策略变更和安全事件。这些能力使证明合规性更加容易，将审计噩梦变成了成功的故事。用Kandji数据工程总监Laura Peaslee的话说，“我们的数据工程师是首先通过审计的。”

结论

自2021年发布以来，Unity Catalog无疑改变了Databricks用户的游戏规则，它创建了一层来统一整个Databricks环境的数据治理，允许与其他数据管理工具进行集成。与TrustZ这样的数据安全平台一起，加强组织的数据访问和安全策略，以及合规自动化实践。让数据既可便捷的访问，又安全为你工作。TrustZ可以提供更多的帮助。

--------------------------------------------------------------------

TrustZ翻译团队简介：

TrustZ团队致力于科普、推广数据治理、数据安全治理相关的技术和管理方法。将最新的国内的数据理论方法推向全球，将海外的思想整理，翻译过来回馈给感兴趣的读者。我们也会独立撰写一些文章，以汇总整理相关知识。

TrustZ团队注释：

百度AI关于Unity Catalog的解释：

Unity Catalog 是 Databricks 平台推出的数据治理解决方案，用于统一管理跨工作区的数据资产、权限控制和血缘追踪，支持多云环境的数据治理需求。‌ 它通过集中化的元数据管理、基于 SQL 的权限模型和细粒度访问控制，实现了数据湖屋（Lakehouse）架构下的安全与治理标准化。‌‌1‌‌2

‌核心功能与架构‌

‌统一元数据管理‌。
- Unity Catalog 采用三层命名空间（Catalog > Schema > Table/View）组织数据，支持跨工作区共享元数据，并兼容 Hive 元存储的遗留数据访问。‌‌1‌‌3
- 元存储（Metastore）作为顶级容器，实现区域隔离，可分配至多个工作区，管理员可通过 SQL 命令直接管理对象权限。‌‌2‌‌4
‌安全与权限控制‌。
- 基于 ANSI SQL 标准的授权模型，支持表、视图、目录级别的细粒度权限分配（如 GRANT CREATE TABLE ON SCHEMA）。‌‌3‌‌4
- 提供数据血缘追踪功能，审计数据访问与操作行为，增强合规性。‌‌5‌‌6
‌数据集成与迁移‌。
- 支持将 Hive 元存储表迁移为托管表（Delta 格式）或外部表，无需复制数据即可快速注册现有数据。‌‌7
- 通过 Delta Sharing 安全共享数据，支持与外部系统（如 SQL Server）连接2

‌应用场景与优势‌

‌企业级数据治理‌：适用于多团队协作环境，通过目录隔离生产与开发数据，降低误操作风险。‌‌2
‌多云兼容性‌：支持 Azure Data Lake、AWS S3 等存储，并通过托管存储优化性能。‌‌1‌‌8
‌ML 与 AI 集成‌：在 Unity Catalog 中管理 ML 模型生命周期，需使用专用计算资源并配置 MLflow 客户端。‌‌6

微软Azure关于Unity Catalog解释：

Unity Catalog 概述

Unity 目录是一个集中式数据目录，可在 Azure Databricks 工作区中提供访问控制、审核、世系、质量监视和数据发现功能。

Unity Catalog 的主要功能包括：

一次定义，全域安全：Unity Catalog 提供统一界面，管理适用于该地区所有工作区的数据访问策略。
符合标准的安全模型：Unity 目录的安全模型基于标准 ANSI SQL，并允许管理员使用熟悉的语法授予其现有 Data Lake 中的权限。
内置审核和世系：Unity Catalog 可自动捕获记录数据访问的用户级审核日志。 Unity Catalog 还会捕获世系数据，用于跟踪在所有语言中创建和使用数据资产的方式。
数据发现：使用 Unity Catalog，可以标记和记录数据资产，并提供搜索界面来帮助数据使用者查找数据。
系统表：Unity 目录允许你轻松访问和查询帐户的作数据，包括审核日志、计费使用情况和世系。