data 生态插件

1、Airflow

Apache Airflow 快速入门教程_airflow apache-优快云博客

Airflow 简介
Apache Airflow 是一个开源的平台,用于编排、调度和监控工作流,工作流是由一系列任务(Tasks)组成的,这些任务可以是数据处理、数据分析、机器学习模型训练、文件传输等各种操作。因此,它是ETL和MLOps用例的理想解决方案。示例用例包括:

从多个数据源提取数据,对其进行聚合、转换,并将其存储在数据仓库中。
从数据中提取见解并将其显示在分析仪表板中
训练、验证和部署机器学习模型

2、数据质量

Snowflake DMF、dbt 测试、Great Expectations 

GitHub - great-expectations/great_expectations: Always know what to expect from your data.

Great Expectations | DataHub

Great Expectations | DataHub

【数据质量】数据质量管理工具预研——Griffin VS Deequ VS Great expectations VS Qualitis_数据质量管理的工具-优快云博客

一站式元数据治理平台——Datahub入门宝典 - 独孤风 - 博客园

(datahub如何安装插件)

3、血缘加强

开源数据血缘和元数据管理框架DataHub的血缘摄取 V0.12.1版本 - 白嫖老郭 - 博客园

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值