airflow测试用例一

最新推荐文章于 2024-07-17 11:39:47 发布

sxf_0123

最新推荐文章于 2024-07-17 11:39:47 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： airflow 文章标签： airflow

本文链接：https://blog.youkuaiyun.com/sxf_123456/article/details/80061301

airflow 专栏收录该内容

13 篇文章

订阅专栏

本文介绍了使用Airflow创建的工作流示例，包括配置DAG、定义BashOperator任务以及如何传递参数。DAG设置为每5分钟执行一次，任务包括获取当前日期并输出指定参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from airflow.models import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta

#default_args = dict()
default_args = {
    'owner': 'airflow',
    'start_date': datetime(2018,4,24,10,23),
    'depends_on_past': False,
    'email': ['1574044873@qq.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5)
}

#每5分钟执行一次
dag = DAG(dag_id='bash_test',default_args=default_args,schedule_interval='*/5 * * * *')

task_1 = BashOperator(
    task_id='bash_1',
    bash_command='date',
    dag=dag
)

#获取参数的值
cmd = """
{% for i in range(4) %}
    echo '{{ds}}'
    echo '{{params.my_param}}'
{% endfor %}
"""

task_2 = BashOperator(
    task_id='bash_2',
    bash_command=cmd,
    params={'my_param':'task_2'},
    dag=dag
)

task_1.set_downstream(task_2)