大数据学习教程SD版第十七篇【Airflow】

最新推荐文章于 2025-03-14 11:00:00 发布

道-闇影

最新推荐文章于 2025-03-14 11:00:00 发布

阅读量1.5k

点赞数

文章标签： big data apache 大数据

本文链接：https://blog.youkuaiyun.com/qq_41200768/article/details/122394947

版权

本文介绍了Apache Airflow的安装、架构、UI操作、DAG创建、Metadata数据库切换及核心使用，强调其作为任务调度和ETL工具的角色，提供Python和Shell任务执行，并探讨了为何在大数据工作流中使用Shell脚本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Airflow 任务调度工具+ETL工具(不常用)

Apache开源，编程(Python)、调度、监控 (UI) 动态可扩展优雅可伸缩上手简单

1. Airflow 安装

本地安装

# 最好使用conda创建一个虚拟Python环境，防止本机Python环境不兼容
# 0.config
export AIRFLOW_HOME=/opt/module/airflow
AIRFLOW_VERSION=2.2.3
PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)"
CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt"
# 1. install
pip install "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}"

# 2.init db
airflow db init

# 3.create admin
airflow users create \
    --username airflow \
    --firstname jin \
    --lastname suo \
    --role Admin \
    --email jinsuo@eamil.com
    
# 4. run
airflow webserver --port 8080 -D
airflow scheduler -D

# 5.stop