Airflow调度-MysqlOperator

最新推荐文章于 2025-06-04 21:25:23 发布

程序媛_cico

最新推荐文章于 2025-06-04 21:25:23 发布

阅读量2.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： BI 数据库文章标签： mysql airflow

本文链接：https://blog.youkuaiyun.com/weixin_42596381/article/details/88722975

本文介绍了如何在Airflow中结合BashOperator和MySqlOperator进行数据库操作的调度，实现对MySQL表的自动化处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一个对mysql数据库表的操作的调度：

这里用到了BashOperator和MySqlOperator

# -*- coding: utf-8 -*-
import airflow
from airflow import DAG
from airflow.operators.mysql_operator import MySqlOperator
from datetime import timedelta
from airflow.operators.bash_operator import BashOperator
default_args = {
 'owner': 'cico',
 'depends_on_past': False,
 'start_date': airflow.utils.dates.days_ago(2),
 'retries': 1, # 重试次数
 'retry_delay': timedelta(minutes=1), # 运行间隔时间
}

dag = DAG(
 'MysqlOperator', # DAG名字
 default_args=default_args,
 description='my first DAG',
 schedule_interval=timedelta(days=1))

creatsql = """ 
  CREATE TABLE  if  not  exists `log` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `dttm` timestamp(6) NULL DEFAULT NULL,
  `dag_id` varchar(250) DEFAULT NULL,
  `task_id` varchar(250) DEFAULT NULL,
  `event` varchar(30) DEFAULT NULL,
  `execution_date` timestamp(6) NULL DEFAULT NULL,
  `owner`