RDBMS-Subsetter：保留外键约束的数据子集生成工具

RDBMS-Subsetter：保留外键约束的数据子集生成工具

rdbms-subsetter Generates a subset of a relational database that respects foreign key constraints 项目地址: https://gitcode.com/gh_mirrors/rd/rdbms-subsetter

项目介绍

RDBMS-Subsetter 是一个开源Python工具，专门用于从关系型数据库中生成一个尊重外键约束的子数据集。该工具确保在创建的数据样本中，所有子记录对应的父记录都存在，从而维持引用完整性。这对于从生产环境数据库创建测试或开发环境非常有用。请注意，该工具不考虑模式（schema）名称，假设所有表存在于同一模式下，这可能导致在处理跨模式外键的数据库时出现错误。

主要特点:

• 保持完整性：即使在抽取子集时也能保持数据库的引用完整性。
• 适用于测试与开发：从生产数据库安全地生成测试/开发数据库。
• 资源消耗：内存消耗大致等于提取数据库的大小，而非源数据库的大小。

项目快速启动

安装RDBMS-Subsetter及依赖

首先，确保你的环境中安装了Python以及pip。然后，通过pip安装RDBMS-Subsetter：

pip install rdbms-subsetter

针对特定的RDBMS，例如PostgreSQL，还需要安装相应的DB-API驱动，如psycopg2：

pip install psycopg2

使用示例

接下来，使用SQLAlchemy的连接字符串来运行RDBMS-Subsetter，以从“大数据库”中提取并迁移到“小数据库”，只取50%的行数为例：

rdbms-subsetter postgresql://user:password@localhost/bigdb postgresql://user:password@localhost/littledb 0.5

确保目标数据库已经配置好相应的架构和外键约束，可以通过RDBMS的备份命令（如PostgreSQL的pg_dump）来准备这些结构。

应用案例与最佳实践

测试环境搭建：

• 在部署新功能或进行集成测试前，利用RDBMS-Subsetter创建一个接近真实的但又大大缩小规模的数据环境，可以有效减少测试时间，同时避免泄露敏感数据。

性能测试：

• 创建一个足够大的数据子集，模拟生产环境的复杂度，对数据库的查询优化、负载均衡策略等进行测试。

最佳实践：

• 在使用前，确保源数据库的架构已正确备份到目标数据库。
• 谨慎选择子集的比例，避免因数据量过小而影响测试的有效性。
• 利用--children参数合理控制层级深度，防止无限循环引用的问题。

典型生态项目结合

虽然RDBMS-Subsetter本身专注于数据子集的生成，但它可以与一系列其他技术栈搭配使用，提高开发效率和质量保证：

• DevOps流程：将RDBMS-Subsetter整合到CI/CD流程中，自动创建测试数据库，确保每次构建都有新鲜且一致的测试环境。
• 数据脱敏工具：在RDBMS-Subsetter之前使用数据脱敏工具，保护生产数据中的敏感信息。
• 容器化：结合Docker容器，将数据库子集部署在一个独立的环境中，实现开发环境的标准化和隔离。

通过上述步骤和最佳实践，开发者可以高效、安全地利用RDBMS-Subsetter来支持他们的软件开发周期。

rdbms-subsetter Generates a subset of a relational database that respects foreign key constraints 项目地址: https://gitcode.com/gh_mirrors/rd/rdbms-subsetter