Recce：数据验证工具包，助力团队构建更优质的数据

Recce：数据验证工具包，助力团队构建更优质的数据

recce PR review tool designed for DBT projects 项目地址: https://gitcode.com/gh_mirrors/re/recce

项目介绍

Recce 是一个专为 dbt 项目设计的数据验证工具包，旨在帮助团队在数据建模和拉取请求（PR）审查过程中进行数据验证。通过比较开发环境和生产环境中的数据，Recce 能够识别和调查数据变化，确保数据在 PR 流程中的完整性和准确性。

项目技术分析

Recce 的核心功能是通过比较 PR 前后的数据来评估代码变更对数据的影响。它提供了一系列工具（称为“diffs”）来帮助用户发现和记录这些变化。主要功能包括：

• Lineage Diff：展示数据血缘图中节点的添加、删除或修改情况。
• Structural Diffs：检查列的添加或删除，并进行行数比较以查看数据是否丢失。
• Advanced Diffs：提供高级统计数据，如计数、唯一值计数、最小值、最大值、平均值等。
• Query Diff：比较任意临时查询的结果，支持 dbt 宏的使用。
• Checklist：记录数据验证过程的结果，支持保存、重新运行、注释和共享检查结果。

项目及技术应用场景

Recce 适用于多种数据验证场景，包括：

• 开发阶段：在本地启动 Recce 服务器，检查数据建模变更对开发环境数据的影响。
• PR 审查：PR 审查者可以手动审查 PR 作者添加的检查，并下载 PR 中附带的 Recce 状态文件进行详细分析。
• 持续集成（CI）：通过设置预设检查，确保管道覆盖率，并利用 GitHub 应用阻止合并和提醒未批准的检查。

项目特点

• 全面的数据比较：Recce 提供了多种数据比较工具，从结构到高级统计数据，全面覆盖数据验证需求。
• 自服务审查环境：专为自服务数据平台设计，帮助用户轻松发现和理解代码变更对数据的影响。
• 灵活的集成：支持与 dbt 项目无缝集成，并提供 GitHub 应用，方便在 CI/CD 流程中使用。
• 丰富的功能：除了基本的数据比较，还提供查询比较、检查清单等功能，满足不同场景的需求。

结语

Recce 是一个强大的数据验证工具，能够帮助团队在数据建模和 PR 审查过程中确保数据的完整性和准确性。无论你是数据工程师、分析师还是非技术利益相关者，Recce 都能为你提供所需的数据验证支持。立即访问 Recce 官网 了解更多信息，并开始使用 Recce 提升你的数据质量吧！

recce PR review tool designed for DBT projects 项目地址: https://gitcode.com/gh_mirrors/re/recce