SQLSmith: Databend 如何利用随机化测试检测 Bug

作者：白 珅

Databend 研发工程师

https://github.com/b41sh

为什么需要 SQLSmith？

在数据库系统的开发和维护过程中，测试扮演着至关重要的角色。它不仅可以验证功能的正确性，还可以发现潜在的问题，确保数据库在每个变更和迭代后保持性能和稳定性。Databend 的 CI 已经支持了多种类型的测试，主要包括：

• 单元测试（Unit Tests）：用于验证代码中最小可测试单元的功能是否正常工作，主要针对函数、模块等基本功能点，确保其能够正确执行，并返回预期的结果。
• SQL 逻辑测试（SQL Logic Tests）：通过 SQL 测试用例来验证 SQL 的语法和逻辑的正确性，覆盖不同的查询场景，确保查询在各种情况下都能正常运行。
• 性能测试（Performance Tests）：测试新功能的性能变化，验证优化的有效性，防止性能回退。

这些测试能够保证系统在快速开发迭代过程中功能的正确性和稳定性，并覆盖常见的使用场景。但是它们也存在一些局限性，例如，测试中使用的 SQL 语句主要通过手工编写，通常较为简单，缺乏真实场景中会的出现复杂 SQL ，对各种边界条件和异常情况覆盖不足。

SQLSmith 是一个随机 SQL 查询生成器，它可以生成大量、多样化的 SQL 测试用例，从而在一定程度上模拟真实世界中的各种可能情况。相比于其它测试方法，SQLSmith 能够提高测试覆盖率，从而发现更多潜在的问题和 bug 。

SQLSmith 的实现

最早的 SQLSmith 灵感来自于