数据校验工具安装与配置指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00520/article/details/147406520

数据校验工具安装与配置指南

professional-services-data-validator Utility to compare data between homogeneous or heterogeneous environments to ensure source and target tables match 项目地址: https://gitcode.com/gh_mirrors/pr/professional-services-data-validator

1. 项目基础介绍

数据校验工具（Data Validation Tool，简称DVT）是一个开源的Python命令行工具，基于Ibis框架构建，用于比较异构数据源中的表数据。在数据仓库、数据库或数据湖迁移项目中，数据校验是关键步骤之一，确保源表和目标表中的数据在每次迁移步骤（如数据迁移、SQL脚本转换、ETL迁移等）后匹配且正确。

DVT提供了一种自动化且可重复的方法来执行数据校验任务，支持多种验证类型，包括列验证、行验证、模式验证、自定义查询验证以及即席SQL探索。

主要编程语言：Python

2. 项目使用的关键技术和框架

Ibis框架：用于数据分析和操作，支持多种数据库和大数据系统。
命令行界面（CLI）：用户通过命令行与工具交互，执行数据校验任务。
连接管理：支持多种数据源连接，如AlloyDB、BigQuery、DB2等。
校验结果处理：支持将校验结果输出到标准输出或BigQuery。

3. 项目安装和配置

准备工作

在开始安装之前，请确保您的环境中已经安装了以下依赖：

Python 3.6 或更高版本 -pip（Python包管理器）

安装步骤

克隆项目仓库到本地环境：

git clone https://github.com/GoogleCloudPlatform/professional-services-data-validator.git

进入项目目录：

cd professional-services-data-validator

安装项目依赖：
```
pip install -r requirements.txt
```
安装项目本身：
```
pip install .
```
配置数据源连接：在项目目录中，根据所使用的数据源类型，创建相应的连接配置文件。具体配置方法请参考项目文档中的“Connections”页面。
运行示例校验任务：在项目目录中，可以运行以下命令来执行一个简单的校验任务：
```
data-validation validate column --source-conn <source_connection> --target-conn <target_connection> --tables-list <source_schema>.<source_table>=<target_schema>.<target_table>
```
其中 <source_connection> 和 <target_connection> 需要替换为实际的源数据连接和目标数据连接配置名称，<source_schema>、<source_table>、<target_schema> 和 <target_table> 需要替换为实际的数据源和目标表的名称。