Dagster资产元数据与标签：数据治理的利器-优快云博客

本文链接：https://blog.youkuaiyun.com/neweastsun/article/details/148811600

在现代数据栈中，有效的数据治理至关重要。Dagster作为领先的数据编排平台，提供了强大的资产元数据和标签功能，帮助团队更好地理解、组织和跟踪数据资产。本文将深入探讨Dagster中的资产元数据和标签功能，展示如何利用这些功能提升数据治理水平。

资产元数据：赋予数据资产"生命"

资产元数据是描述数据资产本身的信息，它使数据资产不再是"黑盒"，而是具有丰富上下文的实体。在Dagster中，元数据可以以多种形式附加到资产上，从简单的文本描述到复杂的表格结构。
在这里插入图片描述

添加资产所有者：明确责任归属

在大型组织中，明确数据资产的所有权至关重要。Dagster允许通过owners参数为资产指定所有者，可以是电子邮件地址或团队名称(以team:前缀标识)。

import dagster as dg

# 使用装饰器添加所有者
@dg.asset(owners=["richard.hendricks@hooli.com", "team:data-eng"])
def my_asset():
    ...

# 使用AssetSpec添加所有者
my_external_asset = dg.AssetSpec(
    "my_external_asset", 
    owners=["bighead@hooli.com", "team:roof", "team:corpdev"]
)

最佳实践：建议为每个资产至少指定一个所有者，可以是个人或团队。在Dagster+ Pro中，还可以基于资产所有者设置自动警报，当资产出现问题时及时通知相关人员。

使用标签组织资产：构建数据目录

标签是组织资产的强大工具，它们以键值对的形式存在，可以用于搜索、过滤和分类资产。

import dagster as dg

# 使用装饰器添加标签
@dg.asset(tags={"domain": "marketing", "pii": "true"})
def my_asset():
    ...

# 使用AssetSpec添加标签
my_external_asset = dg.AssetSpec(
    "my_external_asset", 
    tags={"domain": "legal", "sensitive": ""}
)

标签使用技巧：

使用一致的命名约定(如全部小写，使用下划线分隔)
为常用分类创建标准标签集
避免使用空字符串作为值(在UI中会显示为"label"而非键值对)

附加丰富元数据：超越简单描述

Dagster支持附加各种类型的元数据，从简单的链接到复杂的表格结构：

import dagster as dg

@dg.asset(
    metadata={
        "link_to_docs": dg.MetadataValue.url("https://..."),
        "snippet": dg.MetadataValue.md("# Embedded markdown
..."),
    })
def my_asset():
    ...

标准元数据类型：

dagster/uri: 资产的URI(如"s3://my_bucket/my_object")
dagster/column_schema: 表格资产的列结构
dagster/column_lineage: 列级血缘关系
dagster/row_count: 表格行数
dagster/partition_row_count: 分区行数
dagster/table_name: 表格唯一标识符
dagster/code_references: 源代码引用

表格与列元数据：数据结构的可视化

对于表格资产，Dagster提供了专门的元数据类型来描述其结构。

表格模式元数据

表格模式元数据(dagster/column_schema)允许定义表格的列结构，包括列名、数据类型和描述。

import dagster as dg

@dg.asset(
    deps=["source_bar", "source_baz"],
    metadata={
        "dagster/column_schema": dg.TableSchema(
            columns=[
                dg.TableColumn(
                    "name", 
                    "string", 
                    description="The name of the person",
                ),
                dg.TableColumn(
                    "age", 
                    "int", 
                    description="The age of the person",
                ),
            ]
        )
    })
def my_asset():
    ...

运行时模式发现：当模式在运行时才能确定时，可以在MaterializeResult中返回模式元数据。

列血缘元数据

列血缘元数据(dagster/column_lineage)跟踪表格列之间的依赖关系，这对于数据溯源和影响分析至关重要。

import dagster as dg

@dg.asset(deps=["source_bar", "source_baz"])
def my_asset():
    return dg.MaterializeResult(
        metadata={
            "dagster/column_lineage": dg.TableColumnLineage(
                deps_by_column={
                    "new_column_foo": [
                        dg.TableColumnDep(
                            asset_key=dg.AssetKey("source_bar"),
                            column_name="column_bar",
                        ),
                        dg.TableColumnDep(
                            asset_key=dg.AssetKey("source_baz"),
                            column_name="column_baz",
                        ),
                    ],
                    "new_column_qux": [
                        dg.TableColumnDep(
                            asset_key=dg.AssetKey("source_bar"),
                            column_name="column_quuz",
                        ),
                    ],
                }
            )
        }
    )

可视化优势：在Dagster+中，列血缘元数据可以直观地展示在资产目录中，支持点击导航查看相关资产。

源代码链接：开发与生产的桥梁

Dagster支持将资产与源代码关联，这一功能目前处于beta阶段，但已显示出巨大潜力。

本地开发中的代码引用

在本地开发环境中，Dagster可以自动附加代码引用：

import dagster as dg

@dg.asset
def my_asset():
    ...

@dg.asset
def another_asset():
    ...

defs = dg.Definitions(
    assets=dg.with_source_code_references([my_asset, another_asset])
)

生产环境中的代码引用

在生产环境中，Dagster+可以自动将资产与源代码控制系统(如GitHub或GitLab)关联：

from dagster_cloud.metadata.source_code import link_code_references_to_git_if_cloud
import dagster as dg

@dg.asset
def my_asset():
    ...

@dg.asset
def another_asset():
    ...

defs = dg.Definitions(
    assets=link_code_references_to_git_if_cloud(
        assets_defs=dg.with_source_code_references([my_asset, another_asset])
    )
)

自定义映射：对于特殊需求，可以手动指定代码引用：

import dagster as dg

@dg.asset(
    metadata={
        "dagster/code_references": dg.CodeReferencesMetadataValue(
            code_references=[
                dg.LocalFileCodeReference(
                    file_path="/path/to/source.yaml",
                    line_number=1,
                    label="Model YAML",
                )
            ]
        )
    })
def my_asset_modeled_in_yaml():
    ...