23、Unity Catalog治理实践：监控、报告和谱系追踪

Unity Catalog治理实践：监控、报告和谱系追踪

1. 引言

在当今快速发展的数据驱动时代，数据治理成为了确保数据质量和合规性的关键环节。Databricks Unity Catalog（UC）提供了一个全面的治理解决方案，帮助组织在各个云平台和数据平台上实现数据和AI资产的统一管理。这一章将详细介绍UC如何通过监控、报告和数据血统追踪（lineage）来确保数据的高质量、可靠性和合规性。

2. 监控数据和AI资产

2.1 数据管道监控

Databricks Lakehouse Monitoring使得团队能够监控整个数据管道，从数据和特征到ML模型，而无需额外的工具和复杂性。UC通过提供详细的血统信息，确保数据和AI资产的质量高、准确且可靠。湖仓架构提供的单一、统一的监控方法简化了诊断错误、进行根本原因分析和找到解决方案的过程。

监控的具体实现

• 系统表 ：UC提供了系统表，这些表包含有关每个资产的元数据信息，确保合规性。这些表可以通过SQL或活动仪表板进行查询，以提供有关每个资产的可观察性。
• 审计表 ：这些表包含有关各种UC事件的广泛信息，如谁访问了特定数据集以及他们执行了哪些动作。这有助于管理员追踪数据访问和操作的历史记录。
• 计费和历史定价表 ：这些表记录了整个账户所有可计费使用的记录，使得用户可以查看其工作区在全球范围内的使用情况。

通过这些系统表，用户可以深入了解数据的流动和使用情况，确