cico

ORALCE与mysql建表语句转换： BI开发中中经常遇到各种数据库的导数据，操作频繁的有create建表语句，由于各种数据库的数据类型不同，若是字段特别多，手动敲建表语句也是很花费时间的。 新建文件--->转换--->DB连接。建立两个连接，分别是ORACLE与mysql的连接。 填写数据库连接信息。注意数据库名称为SID_NAME，并不是PL/SQL的SERVICE_NAME。 ...

ETL是数据分析不可缺少的一环，对于ETL的调度管理也是至关重要的。一个好的ETL调度平台应该具备以下优点：作业集成管理 运行监控（WEB监控） 异常警告（邮件及短信） 日志可查看 后台调度 系统配置 作业执行情况分析界面探索中发现了ETL调度平台——airflow。airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Soft...

1.DAGDAG是Directed Acyclic Graph的缩写，即有向无环图。是所有要执行任务脚本（即task）的集合，这个DAG描述了各个Task的依赖关系，调度时间，失败重启机制等。每个DAG的唯一标识是DAGid。每个DAG由1到多个task组成。官方解释：DAGs是一个用户希望执行的所有作业的集合，它定义了所有作业的依赖关系。例如：一个简单的包含3个任务的DAG：A,...

一个对mysql数据库表的操作的调度：这里用到了BashOperator和MySqlOperator# -*- coding: utf-8 -*-import airflowfrom airflow import DAGfrom airflow.operators.mysql_operator import MySqlOperatorfrom datetime import ti...