OpenMetadata数据资产详情页功能详解:从Schema到血缘关系全解析
OpenMetadata 开放标准的元数据。一个发现、协作并确保数据正确的单一地点。 项目地址: https://gitcode.com/gh_mirrors/op/OpenMetadata
概述
在现代数据治理平台OpenMetadata中,数据资产详情页提供了一个集中式的视图,让用户能够全面了解和管理各类数据资产。无论是数据库表、消息主题、仪表板还是机器学习模型,每种数据资产类型都有其独特的元数据展示方式。
数据资产详情页结构
OpenMetadata的数据资产详情页采用分层设计:
-
顶部面板:展示核心元数据
- 数据源(Source)
- 所有者(Owner)
- 资产等级(Tier)
- 类型(Type)
- 使用情况(Usage)
- 描述(Description)
-
功能标签页:根据资产类型动态显示相关功能标签
各功能标签页详解
1. Schema标签页(适用于表、主题和容器)
Schema标签页是数据资产的结构化展示窗口:
- 列信息展示:包括列名、数据类型、描述等基础信息
- 元数据关联:显示与列关联的标签(Tags)和术语表词条(Glossary Terms)
- 高级功能:
- 频繁连接表分析(Frequently Joined Tables)
- 表级标签管理
- 术语表词条关联
技术价值:Schema标签页为数据工程师和分析师提供了快速理解数据结构的能力,便于数据发现和正确使用。
2. 活动动态与任务标签页(所有资产类型通用)
这是数据资产的协作中心:
- 任务管理:跟踪与资产相关的所有任务
- 提及记录:显示所有提及该资产的讨论
- 变更历史:记录资产的所有变更活动
使用场景:当团队协作进行数据治理时,此标签页成为沟通和任务跟踪的核心区域。
3. 样本数据标签页(适用于表和主题)
通过元数据提取时配置,可以获取并展示:
- 实际数据样本
- 数据格式示例
- 内容预览
注意:需要在元数据提取配置中明确启用样本数据采集功能。
4. 查询标签页(仅表资产)
专为SQL查询分析设计:
- 查询执行历史
- 执行时间统计
- 查询血缘分析
- 新查询添加功能
技术细节:此功能依赖于查询日志的收集和分析,为性能优化提供依据。
5. 性能分析与数据质量标签页(仅表资产)
包含三个子标签页:
表分析(Table Profile):
- 行数和列数统计
- 数据量变化趋势
- 表更新频率
列分析(Column Profile):
- 数据类型验证
- 空值百分比
- 唯一值分析
- 数据分布统计
数据质量(Data Quality):
- 表级测试配置
- 列级测试配置
- 测试结果可视化
技术价值:这是数据可靠性的重要保障,通过持续监控确保数据质量。
6. 血缘关系标签页(所有资产类型)
OpenMetadata的血缘关系功能特点:
- 端到端血缘追踪
- 表和列级血缘
- 上下游依赖可视化
- 交互式编辑功能
- 可配置的显示层级
高级功能:
- 手动编辑血缘关系
- 节点预览功能
- 显示层级配置
7. 自定义属性标签页(所有资产类型)
体现OpenMetadata的扩展性:
- 用户自定义元数据字段
- 灵活的属性值管理
- 类型安全的值输入
使用建议:可以用来添加业务特定的元数据,如"数据敏感级别"、"业务负责人"等。
8. 配置标签页(仅主题资产)
展示消息主题的特定配置信息。
9. 详情标签页(仪表板和ML模型)
仪表板:
- 图表详细信息
- 可视化类型
- 关联标签
ML模型:
- 超参数配置
- 模型存储信息
10. 执行记录标签页(仅管道资产)
管道执行监控中心:
- 执行时间线
- 状态跟踪(成功/失败/待处理/中止)
- 多种视图模式(列表/树形)
- 状态和日期过滤
11. 特征标签页(仅ML模型)
机器学习模型专属:
- 模型描述
- 特征清单
- 特征详细信息:
- 数据类型
- 使用算法
- 数据来源
- 关联术语和标签
12. 子项标签页(仅容器资产)
展示容器包含的子项结构。
实用操作功能区
详情页右上角提供便捷操作入口:
- 任务管理:圆形图标显示待处理任务数
- 版本历史:时钟图标展示变更记录
- 主版本变更
- 次要变更
- 关注功能:星形图标显示关注者数量
- 分享功能:生成资产链接
- 更多操作(⋮图标):
- 添加公告
- 重命名资产
- 删除资产
最佳实践建议
- 数据描述:充分利用Markdown格式编写详尽的资产描述
- 质量监控:为关键表设置数据质量测试
- 血缘维护:定期检查和更新血缘关系
- 自定义属性:根据业务需求扩展元数据字段
- 协作沟通:通过活动动态标签页跟踪变更和讨论
通过全面利用OpenMetadata提供的这些功能,组织可以实现更高效的数据发现、更可靠的数据质量和更顺畅的团队协作,最终提升整体数据治理水平。
OpenMetadata 开放标准的元数据。一个发现、协作并确保数据正确的单一地点。 项目地址: https://gitcode.com/gh_mirrors/op/OpenMetadata
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考