Marquez是一款由WeWork发布并开源的元数据服务，用于数据生态系统元数据的收集、汇总及可视化，支持数据血缘、治理和健康检查等功能。它通过RESTful API与Airflow、Amundsen和Dagster等系统集成，提供集中式元数据管理和数据发现服务。
Marquez是一款开源的元数据服务，用于数据生态系统元数据的收集、汇总及可视化。它维护着数据集的消费和生产，为作业运行时和数据集访问频率提供全局可见性，提供集中的数据集生命周期管理等。WeWork发布并开源了Marquez。
Marquez的特征：
-
集中式元数据管理支持：
数据血缘（Data Lineage）
数据治理（Data governance）
数据健康检查（Data health）
数据发现+探索（Data discovery + exploration）
-
精确的高维度数据模型：
作业（Jobs）
数据集（Datasets）
-
通过指定的元数据 API轻松收集元数据：
重视数据集数据
强化作业和数据集的所有权
-
以最小的依赖进行简单的操作和设计
-
RESTful API支持与其他系统的复杂集成：
最低0.47元/天 解锁文章
扫一扫
474
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
