Dagster资源管理：从基础定义到API连接实战

最新推荐文章于 2025-09-11 06:25:27 发布

原创最新推荐文章于 2025-09-11 06:25:27 发布 · 1k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#数据工程 #Dagster #数据集成

数据分析工程专栏收录该内容

284 篇文章

订阅专栏

在现代数据工程中，资源管理是构建可维护、可配置和可测试数据管道的关键环节。Dagster作为一款强大的数据编排平台，提供了完善的资源管理系统，使开发者能够优雅地处理外部依赖。本文将深入探讨Dagster中的资源定义与配置，并通过API连接的实战示例展示其强大功能。

一、Dagster资源基础：定义与配置

在Dagster中，资源(Resources) 是用于封装外部系统连接和配置的抽象概念。与直接在代码中硬编码配置不同，Dagster的资源系统提供了更灵活、更可维护的方式来管理这些外部依赖。

资源的核心优势在于其配置系统。通过定义资源配置，我们可以：

运行时动态替换：在Dagster UI的Launchpad、GraphQL API或Python API中轻松替换配置值
可视化展示：在Dagster UI中清晰地查看和管理资源配置
环境变量集成：支持通过环境变量动态设置配置值，实现不同环境(开发、测试、生产)的无缝切换

资源通常通过继承ConfigurableResource类来定义，该类允许我们指定一组配置属性，这些属性用于在与外部工具或服务交互时提供必要信息，如账户标识符、API密钥或数据库名称。

在这里插入图片描述

二、资源在Dagster生态系统中的应用

Dagster的资源系统不仅限于单一场景，而是贯穿整个数据编排流程：

1. 与资产(Assets)集成

资源最常见的应用场景是与资产定义结合。在资产函数中，我们可以通过参数注解声明对特定资源的依赖，Dagster会自动在运行时将这些资源注入到资产函数中。

class MyConnectionResource(dg.ConfigurableResource):
    username: str
    
    def request(self, endpoint: str) -> Response:
        return requests.get(
            f"https://my-api.com/{endpoint}",
            headers={"user-agent": "dagster"},
        )

@dg.asset
def data_from_service(my_conn: MyConnectionResource) -> dict[str, Any]:
    return my_conn.request("/fetch_data").json()

defs = dg.Definitions(
    assets=[data_from_service],
    resources={
        "my_conn": MyConnectionResource(username="my_user"),
    },
)

2. 传感器(Sensors)中的资源使用

传感器同样可以利用资源系统来查询外部服务获取数据，这使得传感器逻辑更加灵活且易于配置。

3. 调度(Schedules)中的资源集成

当调度逻辑需要与外部工具交互或需要提高可测试性时，资源系统提供了完美的解决方案。

4. 作业(Jobs)中的资源配置

在作业定义中，我们可以通过资源系统管理外部依赖，使作业逻辑更加清晰和可维护。

三、API连接实战：从基础到高级配置

让我们通过一个完整的实战示例，展示如何使用Dagster资源系统优雅地管理与外部API的连接。

步骤1：基础API资源定义

首先，我们定义一个简单的资源类，用于从REST API获取日出时间。初始版本中，位置信息是硬编码的：

class SunResource(dg.ConfigurableResource):
    @property
    def query_string(self) -> str:
        latittude = "37.615223"
        longitude = "-122.389977"
        time_zone = "America/Los_Angeles"
        return f"https://api.sunrise-sunset.org/json?lat={latittude}&lng={longitude}&date=today&tzid={time_zone}"
    
    def sunrise(self) -> str:
        data = requests.get(self.query_string, timeout=5).json()
        return data["results"]["sunrise"]

步骤2：在资产中使用API资源

定义好资源后，我们可以在资产函数中使用它。注意资源是通过参数注解声明依赖的：

@dg.asset
def sfo_sunrise(context: dg.AssetExecutionContext, sun_resource: SunResource) -> None:
    sunrise = sun_resource.sunrise()
    context.log.info(f"Sunrise in San Francisco is at {sunrise}.")

defs = dg.Definitions(assets=[sfo_sunrise], resources={"sun_resource": SunResource()})

步骤3：可配置的API资源

硬编码配置限制了资源的灵活性。我们改进资源定义，使其支持运行时配置：

class SunResource(dg.ConfigurableResource):
    latitude: str
    longitude: str
    time_zone: str
    
    @property
    def query_string(self) -> str:
        return f"https://api.sunrise-sunset.org/json?lat={self.latitude}&lng={self.longitude}&date=today&tzid={self.time_zone}"
    
    def sunrise(self) -> str:
        data = requests.get(self.query_string, timeout=5).json()
        return data["results"]["sunrise"]

然后在定义资源实例时提供具体配置值：

defs = dg.Definitions(
    assets=[sfo_sunrise],
    resources={
        "sun_resource": SunResource(
            latitude="37.615223",
            longitude="-122.389977",
            time_zone="America/Los_Angeles",
        )
    },
)

步骤4：环境变量配置

为了实现真正的环境无关性，我们可以使用Dagster的EnvVar类从环境变量读取配置：

class SunResource(dg.ConfigurableResource):
    latitude: str
    longitude: str
    time_zone: str
    
    @property
    def query_string(self) -> str:
        return f"https://api.sunrise-sunset.org/json?lat={self.latitude}&lng={self.longitude}&date=today&tzid={self.time_zone}"
    
    def sunrise(self) -> str:
        data = requests.get(self.query_string, timeout=5).json()
        return data["results"]["sunrise"]

@dg.asset
def home_sunrise(context: dg.AssetExecutionContext, sun_resource: SunResource) -> None:
    sunrise = sun_resource.sunrise()
    context.log.info(f"Sunrise at home is at {sunrise}.")

defs = dg.Definitions(
    assets=[home_sunrise],
    resources={
        "sun_resource": SunResource(
            latitude=dg.EnvVar("HOME_LATITUDE"),
            longitude=dg.EnvVar("HOME_LONGITUDE"),
            time_zone=dg.EnvVar("HOME_TIMEZONE"),
        )
    },
)