dbt-airflow-docker-compose：一键部署Airflow与DBT的数据管道工具

dbt-airflow-docker-compose：一键部署Airflow与DBT的数据管道工具

dbt-airflow-docker-compose Execution of DBT models using Apache Airflow through Docker Compose 项目地址: https://gitcode.com/gh_mirrors/db/dbt-airflow-docker-compose

项目介绍

dbt-airflow-docker-compose 是一个开源项目，利用Docker Compose技术，实现了Apache Airflow和DBT的快速部署与使用。通过该项目，用户可以在本地环境轻松搭建数据管道，自动化执行数据建模任务。项目以公开的Instacart电子商务数据为案例，展示了如何通过Airflow调度dbt模型。

项目技术分析

本项目基于Docker Compose技术构建，涉及以下主要组件：

• PostgreSQL数据库：包括两个数据库实例，一个用于Airflow存储任务执行信息，另一个用于存储DBT的种子数据和SQL模型。
• Airflow：Python基础的镜像，用于执行Airflow的调度器和Web服务器。
• Adminer：一个轻量级的数据库客户端，用于数据库管理。
• DBT：数据建模工具，用于转换和建模数据。

通过docker-compose.yml文件定义，项目启动时将自动下载并运行上述服务。

项目及技术应用场景

dbt-airflow-docker-compose 的主要应用场景包括：

1. 数据管道自动化：自动执行数据加载、转换和模型构建任务。
2. 数据建模：利用DBT工具，实现数据表的快速构建和更新。
3. 数据可视化：通过Airflow的Web界面，监控任务执行状态和数据流程。

该项目的部署和运行，特别适用于数据分析师、数据工程师以及需要进行数据建模的团队。

项目特点

1. 简单易部署

通过Docker Compose，用户无需复杂的配置，即可一键启动所有服务。只需确保已安装Docker和Docker Compose，然后克隆项目仓库并执行docker-compose up命令。

2. 数据模型可定制

项目提供了多种DAGs（有向无环图），用户可以根据需求调整和执行相应的数据模型。例如，加载初始数据、初始化DBT模型、构建快照表和调度日常模型等。

3. 数据可视化

通过Airflow的Web界面，用户可以直观地查看任务执行状态、日志以及任务持续时间等信息。这有助于监控数据管道的运行状况。

4. 数据库管理便捷

通过Adminer，用户可以轻松地管理数据库，查看和编辑数据。

5. 高度灵活

项目支持从主机向容器传输文件，使得用户可以在本地环境中对DBT模型进行修改和编译，然后无缝地在容器中运行。

使用指南

环境准备

• 安装Docker：访问Docker官网下载并安装。
• 安装Docker Compose：访问Docker Compose官方文档获取安装指导。
• 下载数据集：在Kaggle上下载Instacart电子商务数据集。

项目部署

1. 克隆项目仓库。
2. 将CSV文件提取到./sample_data目录下。
3. 切换到项目目录，执行docker-compose up。

连接信息

• Adminer UI：http://localhost:8080
• Airflow UI：http://localhost:8000

DAGs执行

在Airflow UI中，根据需求运行不同的DAGs，如1_load_initial_data、2_init_once_dbt_models、3_snapshot_dbt_models和4_daily_dbt_models。

通过以上介绍，相信您已经对dbt-airflow-docker-compose项目有了清晰的了解。该项目为数据分析和建模提供了一个高效、易用的平台。不妨尝试部署到您的环境中，体验其强大的功能。

dbt-airflow-docker-compose Execution of DBT models using Apache Airflow through Docker Compose 项目地址: https://gitcode.com/gh_mirrors/db/dbt-airflow-docker-compose