macos pycharm调试airflow代码

小朋友,你是否有很多问号?

已于 2023-12-02 10:44:56 修改

阅读量972

点赞数 5

CC 4.0 BY-SA版权

分类专栏：数据仓库文章标签： macos pycharm

于 2023-12-02 10:27:40 首次发布

本文链接：https://blog.youkuaiyun.com/oracle8090/article/details/134747772

数据仓库专栏收录该内容

5 篇文章

订阅专栏

本文介绍了如何在PyCharm项目中设置虚拟环境，安装ApacheAirflow，初始化数据库，配置DAG并编写一个测试任务。详细步骤包括进入虚拟环境、安装Airflow、修改配置文件以及运行脚本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

项目目录：本案例基于pycharm项目虚拟环境

1.进入项目虚拟环境目录

yololi@bogon bin % pwd
/Users/yololi/PycharmProjects/pythonProjecttest/venv/bin

2.安装airflow

./python3.8 -m pip install apache-airflow==2.2.5 -i https://pypi.tuna.tsinghua.edu.cn/simple

3.初始化数据库

./airflow db init

初始化数据库后会在本地目录下生成airflow文件夹

4.修改airflow.cfg文件dags_folder执行到自己写的代码目录下

dags_folder = /Users/yololi/PycharmProjects/pythonProjecttest/test

5.编写测试代码

from airflow.decorators import task
from airflow import DAG
from datetime import datetime, timedelta

with DAG(
        'debug_demo2',
        default_args={
            'depends_on_past': False,  # 是否依赖上一个任务执行完成
            "retries": 1,
            "retry_delay": timedelta(minutes=5),
            'sla': timedelta(minutes=45),
        },
        # [END default_args]
        description='测试demo',
        schedule_interval='*/5 * * * *',
        # schedule_interval='0 */2 * * *',
        start_date=datetime(2023, 3, 1),
) as dag:
    @task(task_id="debug_test2")
    def f_task(**context):
        print("xxxxhhhooo")
    task1=f_task()