1、Airflow
Apache Airflow 快速入门教程_airflow apache-优快云博客
Airflow 简介
Apache Airflow 是一个开源的平台,用于编排、调度和监控工作流,工作流是由一系列任务(Tasks)组成的,这些任务可以是数据处理、数据分析、机器学习模型训练、文件传输等各种操作。因此,它是ETL和MLOps用例的理想解决方案。示例用例包括:
从多个数据源提取数据,对其进行聚合、转换,并将其存储在数据仓库中。
从数据中提取见解并将其显示在分析仪表板中
训练、验证和部署机器学习模型
2、数据质量
如Snowflake DMF、dbt 测试、Great Expectations
GitHub - great-expectations/great_expectations: Always know what to expect from your data.
【数据质量】数据质量管理工具预研——Griffin VS Deequ VS Great expectations VS Qualitis_数据质量管理的工具-优快云博客
一站式元数据治理平台——Datahub入门宝典 - 独孤风 - 博客园
(datahub如何安装插件)