Ubisoft 开发的 MobyDQ：自动化数据质量检查工具

Ubisoft 开发的 MobyDQ：自动化数据质量检查工具

mobydq :whale: Tool to automate data quality checks on data pipelines 项目地址: https://gitcode.com/gh_mirrors/mo/mobydq

基础介绍

MobyDQ 是由 Ubisoft 开发的一个开源项目，旨在帮助数据工程团队自动化数据质量检查流程。该项目使用多种编程语言开发，主要包括 Vue（用于前端界面），Shell（用于脚本编写），Python（用于后端逻辑），JavaScript（用于前端逻辑），以及 PLpgSQL 和 TSQL（用于数据库相关操作）。

核心功能

MobyDQ 的核心功能是：

1. 自动化数据质量检查：在数据管道中自动执行数据质量检查，确保数据的一致性和准确性。
2. 数据质量问题捕获：捕获数据质量问题，并触发异常警报。
3. 跨数据源支持：不论使用何种数据源，MobyDQ 都能提供支持。

这个工具最初是 Ubisoft Entertainment 内部项目的一部分，用于衡量和提升企业数据平台的数据质量。开源版本经过重新设计，简化了结构，并去除了对商业软件的依赖。

最近更新的功能

根据项目的最新更新，以下是一些值得关注的新功能：

1. 改进的界面设计：使得用户体验更加友好，操作更加直观。
2. 增强的自动化脚本：提供更灵活的自动化脚本，以适应不同的数据质量和检查需求。
3. 扩展的数据库支持：增加了对多种数据库的支持，包括 Cloudera、MySQL、MariaDB、PostgreSQL 和 SQL Server。
4. 增强的测试环境：提供了更加完善的测试环境，包括数据库实例和测试脚本，以确保工具的稳定性和可靠性。
5. 代码质量和性能优化：通过代码重构和性能优化，提升了工具的执行效率和代码的可维护性。

mobydq :whale: Tool to automate data quality checks on data pipelines 项目地址: https://gitcode.com/gh_mirrors/mo/mobydq