SQLSmith: Databend 如何利用随机化测试检测 Bug

sqlsmith:随机SQL查询生成器 立即下载

作者:白 珅

Databend 研发工程师

https://github.com/b41sh

为什么需要 SQLSmith?

在数据库系统的开发和维护过程中,测试扮演着至关重要的角色。它不仅可以验证功能的正确性,还可以发现潜在的问题,确保数据库在每个变更和迭代后保持性能和稳定性。Databend 的 CI 已经支持了多种类型的测试,主要包括:

  • 单元测试(Unit Tests):用于验证代码中最小可测试单元的功能是否正常工作,主要针对函数、模块等基本功能点,确保其能够正确执行,并返回预期的结果。
  • SQL 逻辑测试(SQL Logic Tests):通过 SQL 测试用例来验证 SQL 的语法和逻辑的正确性,覆盖不同的查询场景,确保查询在各种情况下都能正常运行。
  • 性能测试(Performance Tests):测试新功能的性能变化,验证优化的有效性,防止性能回退。

这些测试能够保证系统在快速开发迭代过程中功能的正确性和稳定性,并覆盖常见的使用场景。但是它们也存在一些局限性,例如,测试中使用的 SQL 语句主要通过手工编写,通常较为简单,缺乏真实场景中会的出现复杂 SQL ,对各种边界条件和异常情况覆盖不足。

SQLSmith 是一个随机 SQL 查询生成器,它可以生成大量、多样化的 SQL 测试用例,从而在一定程度上模拟真实世界中的各种可能情况。相比于其它测试方法,SQLSmith 能够提高测试覆盖率,从而发现更多潜在的问题和 bug 。

SQLSmith 的实现

最早的 SQLSmith 灵感来自于 Csmith ,主要用于 PostgreSQL 的模糊测试。目前,已经有许多知名的开源数据库移植了各自版本的 SQLSmith 实现,如 CockroachDB、TiDB、RisingWave 等。

这些开源的 SQLSmith 实现使用不同的编程语言开发(包括 C++、Golang、Rust),支持的语法也各不相同,适用于各自的应用领域,我们无法直接使用它们来进行测试。为了完全支持 Databend 的语法和功能特点,我们必须用 Rust 构建自己的 SQLSmith 。

SQLSmith 主要包括三个部分,生成抽象语法树(AST)的 SQL Generator ,简化执行失败 SQL 的 SQL Reducer ,执行 SQL 并记录错误的 Runner 。

SQL Generator

SQL Generator 随机生成各种类型的抽象语法树(AST),主要包括如下几类:

  1. 生成多种数据类型,除了常见的基本数据类型之外,Databend 还支持了多种嵌套数据类型,包括 Array、Map、Tuple 等,这些类型可以多层嵌套,组合出更复杂的数据类型。
  2. 生成 DDL 语句,创建并修改用于测试的表,包括 CREATE TABLE,ALTER TABLE, DELETE TABLE 等。
  3. 生成 DML 语句,生成随机的测试数据执行插入和修改操作,包括 INSERT,UPDATE,DELETE,MERGE 等。
  4. 生成 Query 语句,依次随机生成其内部的各个字段,包括 WITH,SelectTarget,TableReference,SubQuery,ORDER ``BY 等,由于 WITH 和 SubQuery 包含嵌套的 Query,可以生成复杂的查询语句。
  5. 生成 Expression 表达式,包括 Column,Literal,Scalar Function,Aggregate Function 等,由于表达式的参数也可以是表达式,从而支持生成嵌套的表达式。

由于 AST 中的各个部分都会按照一定的概率随机生成,可以覆盖所有类型的 AST ,进而覆盖所有可能的 SQL 语句。通过递归调用生成器,我们还可以生成一些不常见的复杂嵌套语句,有利于发现一些隐藏的 bug 。同时,我们也需要适当控制嵌套的深度,避免生成过于复杂无法执行的 SQL。

SQL Reducer

由于 SQL Generator 生成的 SQL 语句可能会非常复杂,而造成 bug 的往往只是其中的一小部分,直接查看原始 SQL 不容易定位问题。有必要对原始 SQL 进行简化,得出能够复现该 bug 的最小 SQL,这样可以减少无关部分的干扰,方便用最简单的 SQL 复现 bug。

SQL Reducer 采用自顶向下的方法来简化 SQL,依次删除 AST 的不同组成部分,例如 WITH,SubQuery,Expression 等,如果删除后的 SQL 仍然可以复现出相同的 bug,我们就使用这个删除后的 SQL,否则就回退到原来的 SQL 。通过遍历 AST 的所有组成部分,最终可以得到一个最小可复现的 SQL 语句。

Runner

SQL Runner 使用 SQL Generator 按顺序不断循环生成用于测试的 SQL 语句,并连接 Databend 执行 SQL,如果执行成功则忽略,如果执行失败,说明可能存在 bug,继续按照以下流程进行处理:

  1. 判断是否是正常的报错,例如参数错误,语义错误等。
  2. 判断是否是已知的报错,例如一些未实现的功能,或已提 issue 的报错。
  3. 调用 SQL Reducer 进行简化生成最小可复现的 SQL 。
  4. 打印报错信息和简化后的 SQL 语句。

目前 Runner 已经集成到了 Databend 的 CI,在每次发布 Release 版本的时候都会执行,生成报错信息和 SQL 会被记录下来,用于进一步的分析。

SQLsmith 的效果

到目前为止,SQLSmith 已经在 Databend 运行了一个多月的时间,一共发现了 50 多个 bug,主要包括如下几类:

  1. 内部执行逻辑错误导致的 bug (17个)
  2. 函数或表达式参数校验错误导致的 bug (12个)
  3. 未执行正确的语义检查导致的 bug (9个)
  4. unwrap 和 unreachable 处理不当导致的 bug (7个)
  5. Parser 语法解析失败的 bug (3个)
  6. 不同类型 cast 失败的 bug (4个)
  7. Parquet 数据读写错误导致的 bug (1个)

经验总结

通过分析 SQLSmith 发现的 bug,我们总结了一些常见的问题,可以帮助我们在以后的开发过程中避免出现 bug 。

  1. 函数的参数需要校验是否合法,并考虑各种情况,主要包括以下几类:

    1. 参数类型是 String 时,注意字符串为空的情况。
    2. 参数类型是 Int 时,注意值是一个大数的情况。
    3. 参数支持任意类型时,需要考虑一些不常用的类型,例如 Null、EmptyArray、Bitmap 等。
    4. 参数只支持特定类型时,需要考虑其它类型能不能自动转换,或者提前检查类型并返回错误。
  2. 谨慎使用 unwrap,对于 Result 和 Option 类型的返回值,应该尽量显式的进行处理,返回值并不总是像预期的一样返回成功的结果。

  3. 开发新的功能需要了解相关 SQL 语义规则的约束条件,例如 ORDERBY 和 HAVING表达式中不允许出现 Aggregate 和 Window 函数。在 Binder 阶段进行符合语义规则的检查可以避免执行时发生错误。

  4. 重要的功能模块需要增加更多的单元测试用例,避免内部执行逻辑错误导致的 bug 。

下一步的工作

目前,SQLSmith 已经支持生成绝大部分常用的 SQL 并且能够与 CI 集成自动运行。我们计划在下一步继续完善 SQLsmith 的功能。主要包括如下几个方面:

  1. 增加更多的 SQL 语法支持,包括 Computed Column、Union 等。
  2. 支持更多的配置项,包括表达式的嵌套深度,查询语句的复杂度等。
  3. 完善 SQL Reducer 的功能,生成更简化的 SQL 语句。
  4. 通过改进查询执行和结果分析的方法,提高 bug 发现的效率。

SQLSmith 是一个强大的工具,它可以帮助我们发现 Databend 隐藏的 bug,提高系统的稳定性和可靠性。我们期待 SQLsmith 在未来能够发挥更大的作用。

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

codesmithprofessional SQL三层 代码生成 模版 主要用于ASP项目生成三层框架,为程序开发大大节约时间!资源内部只包含模版。不包含codesmithprofessional 代码生成器,需要的可以自己到官网上下载生成器。 立即下载

相关推荐

SqlServer CodeSmith三层架构模版(升级版)

该版本是对前一个CodeSmith的一个升级版,增加了数据库的非空判断

SQLSmith:智能SQL生成器,你的数据库操作好帮手

SQLSmith:智能SQL生成器,你的数据库操作好帮手 项目地址:https://gitcode.com/gh_mirrors/sql/sqlsmith SQLSmith 是一个开源的工具,它能够自动生成随机的 SQL 查询语句,帮助开发者测试和验证他们的数据库系统、ORM(对象关系映射)框架或者任何处理 SQL 的库。这个项目由 Java 编写,并且基于 JDBI 和 H2 数据库,可以广泛应...

gitblog_00050的博客 1442

告别硬件!用Wokwi在线模拟ESP32点灯,5分钟搞定开发环境搭建

本文介绍如何使用Wokwi在线模拟器快速搭建ESP32开发环境,5分钟内完成点灯实验。无需硬件即可体验GPIO控制、PWM调光等核心功能,特别适合物联网开发初学者和快速原型验证。Wokwi的零成本、全功能模拟特性让嵌入式开发变得前所未有的简单高效。

weixin_42567497的博客 498

SQLsmith:随机SQL查询生成器

SQLsmith 是一款创新的随机 SQL 查询生成器,旨在通过生成随机的 SQL 查询来帮助开发者发现和修复数据库管理系统(RDBMS)中的潜在问题。该项目自2015年以来,已经在 PostgreSQL、SQLite 3 和 MonetDB 等数据库系统中发现了118个 bug,其中包括一些安全漏洞。SQLsmith 的设计灵感来源于 Csmith,后者在 C 编译器的质量保证中发挥了重要作用。...

gitblog_00416的博客 662

ENSP Pro VXLAN EVPN分布式网关部署配置

在BGP EVPN方式部署分布式网关的场景中,控制平面的流程包括VXLAN隧道建立、MAC地址动态学习;转发平面的流程包括同子网已知单播报文转发、同子网BUM报文转发、跨子网报文转发。该方式实现的功能全面,支持主机IP路由通告、主机MAC地址通告、主机ARP通告,可以直接使能ARP广播抑制功能。如果在VXLAN网络中采用分布式网关,推荐使用此方式。对比集中式网关,分布式网关的arp条目比集中式网关的arp条目少,分布式网关只学习租户侧的arp条目,不学习网络侧的arp条目。

qq2353177176的博客 4565

工业4.0 底层逻辑

工业4.0 的概念已经被滥用了,它与物联网,工业物联网等概念一样,几乎什么都往里面装。演变成了一句口号和愿景。许多人并不清楚工业4.0的底层逻辑到底是什么?如何遵循工业4.0 的思想构建新一代智能制造系统?并没用清晰地展示工业4.0的技术路线图。

姚家湾博客 1997

【亲测免费】 探索数据库的极限:SQLsmith——你的数据库压力测试伙伴

探索数据库的极限:SQLsmith——你的数据库压力测试伙伴 项目介绍 在软件开发的浩瀚星海中,数据库作为数据的心脏,其稳定性和健壮性至关重要。SQLsmith,一位聪明且独特的探路者,横空出世,旨在为RDBMS(关系型数据库管理系统)的质量保障带来一场革命。它模仿了知名的C代码故障注入工具Csmith的精神,专注于生成随机SQL查询,以此挑战和检验数据库的极限。 项目技术分析 SQLsmith基...

gitblog_00307的博客 1002

音视频开发—H264相关概念和压缩原理详解(GOP、宏块、帧内压缩、帧间压缩)

本文讲述了H264相关概念和原理——GOP概念,SPS与PPS,帧内压缩原理,帧间压缩原理,解释了什么是运动补偿,什么运动矢量等等概念

weixin_46999174的博客 3986

基于 Chaos Mesh 和 Argo 打造分布式测试平台

不久前我们开源了基于 Kubernetes 的混沌测试工具Chaos Mesh®,Chaos Mesh 提供了模拟系统异常状况的能力,但这只是混沌工程中的一环,完整混沌工程核心原则包含了系统稳定状态的定义、提出假设、运行实验以及验证和改进。 本篇文章主要介绍我们是如何在 Chaos Mesh 和Argo的基础上打造自己的自动化测试平台TiPocket,实现完全自动化的混沌测试,构成混沌测试完整闭环。 为什么需要 TiPocket? 为了确保用户的数据安全,我们需要确保给用户提供的每一个 TiD...

ludongguoa的博客 586

我用WorkBuddy“克隆“了一个我,从此每句话像我自己说的

各位,做这件事花了多长时间?准备样本可能要半小时,提炼风格十分钟,保存固化再花十分钟。加起来不到一个小时。但这一个小时之后呢?你就拥有了一个"永远在线的文字替身"。以后写口播稿,打开WorkBuddy跟它说;写课程逐字稿,跟它说;写公众号文章,也跟它说。写出来的东西,你的学员一看——“嘿,这不就是翟猛老师说的嘛。说到这儿,可能有人会问:老师,我的风格有那么重要吗?AI写的不都挺好的吗?各位你想想看,你为什么愿意听某个老师的课?不只是因为他讲的内容好,更是因为你喜欢他讲话的方式。

weixin_39284145的博客 827

RK3576+IMX415 MIPI摄像头零拷贝显示系统

MIPI CSI-2是嵌入式视觉系统中主流的高速图像传感器接口标准,其核心价值在于低延迟、高带宽与硬件级DMA直通能力。基于V4L2子系统与DRM/KMS驱动栈,可构建从传感器RAW数据到帧缓冲区的零拷贝通路,显著降低CPU负载并提升实时性。该技术广泛应用于工业检测、边缘AI推理前数据接入及多路同步采集等场景。本文以Rockchip RK3576 SoC和索尼IMX415传感器为典型组合,详解MIPI物理层适配、内核驱动集成、GStreamer零拷贝管道搭建及systemd服务化部署,覆盖从硬件信号完整性到

weixin_36047538的博客 218

经典的sql语句

经典的sql语句 一、基础    1、说明:创建数据库    CREATE DATABASE database-name     2、说明:删除数据库    drop database dbname    3、说明:备份sql server    --- 创建 备份数据的 device    USE master    EXEC sp_addumpdevice 'disk

344

第二篇:APS智能排产实战:OR-Tools与coptpy从入门到案例

专注于具体的技术实现,包括 OR-Tools 和 coptpy 的详细使用指南、建模技巧、日志解读,以及一个完整的两阶段生产排程案例。适合准备动手开发 APS 系统的工程师和研究者。

算法工程师 459

如何利用随机化的 SQL 测试来帮助检测错误

SQLSmith 是一个用于自动生成和测试 SQL 查询的工具,它旨在通过生成随机的有效 SQL 查询并在目标数据库上执行这些查询来探索数据库系统的功能和限制。如果查询导致数据库崩溃,或者产生了意外的错误,那么我们就探查到了一个错误。

伤心的辣条 526

Open3D 计算FPFH特征【2025最新版】

FPFH特征描述子的python实现,本文最新更新时间为:2025年3月18日。

点云侠的博客 5281

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

快速掌握SQL基本操作

从宏观来讲,对数据库的操作周期可以分为创建数据、查询数据、修改数据等。       本文将从以下三个方面展开来讲解。关于关系数据库的一些基本概念。请参考上一节。 1.创建一个数据库 1.1创建tables      CREATE  [ TEMP | TEMPORARY ]

铁匠Smith先生的专栏 1162

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

SQLSmith 开源项目教程

SQLSmith 是一个用于生成随机 SQL 查询的工具,旨在帮助数据库开发者和测试人员发现潜在的数据库问题。通过随机生成复杂的 SQL 查询,SQLSmith 可以模拟真实世界中的查询场景,从而帮助用户测试和优化数据库的性能和稳定性。 ## 项目快速启动 ### 环境准备 在开始使用 SQLSmith 之前,请确保您的系统已经安装了以下软件: - Git - C++ 编译器(支持 C++...

gitblog_01122的博客 658

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

SQLsmith:随机SQL查询生成器,助力数据库质量保障

SQLsmith 是一款强大的随机 SQL 查询生成器,旨在通过生成随机的 SQL 查询来帮助开发者发现和修复数据库管理系统(RDBMS)中的潜在问题。该项目受到了 Csmith 的启发,Csmith 是一款用于 C 编译器质量保证的随机代码生成器。SQLsmith 目前支持 PostgreSQL、SQLite 3 和 MonetDB,并且可以通过实现两个类来扩展对其他 RDBMS 的支持。自 2...

gitblog_00033的博客 501

SQLsmith 项目常见问题解决方案

SQLsmith 是一个随机 SQL 查询生成器,主要用于对数据库管理系统(RDBMS)进行质量保证测试。它的设计灵感来源于 Csmith,一个用于测试 C 编译器质量的随机 C 程序生成器。SQLsmith 目前支持生成针对 PostgreSQL、SQLite 3 和 MonetDB 的查询。该项目主要使用 C++ 编程语言开发。 ## 新手常见问题与解决步骤 ### 问题一:项目依赖和环境...

gitblog_00643的博客 886

SQLsmith 配置详解:从命令行参数到日志系统的完整配置指南

SQLsmith 是一个强大的随机 SQL 查询生成器,专门用于数据库系统的质量保证和压力测试。本文将为您提供完整的 SQLsmith 配置指南,帮助您从零开始掌握这个强大的数据库测试工具。无论您是数据库开发者、测试工程师还是系统管理员,通过本文的详细配置讲解,您都能快速上手 SQLsmith 并充分利用其强大的测试能力。 ## 📋 SQLsmith 配置概览 SQLsmith 的配置主要分

gitblog_00990的博客 991

WiFi-DensePose数据库设计:存储与管理姿态数据的最佳实践

WiFi-DensePose是一个革命性的基于WiFi的密集人体姿态估计系统,它使用普通的网状路由器实现了穿墙实时全身跟踪。在这样一个创新系统中,数据库设计扮演着至关重要的角色,它负责高效存储和管理从WiFi信号中提取的姿态数据。本文将深入探讨WiFi-DensePose的数据库设计理念、核心表结构以及数据管理的最佳实践。 ## 数据库设计概览:构建高效数据存储架构 WiFi-DensePos

gitblog_00860的博客 469

SQLsmith 实战教程:如何为 PostgreSQL、SQLite 和 MonetDB 进行大规模测试

SQLsmith 是一款强大的随机 SQL 查询生成工具,专为数据库测试设计。它能够自动生成各种复杂的 SQL 语句,帮助开发者和测试人员对 PostgreSQL、SQLite 和 MonetDB 等数据库系统进行全面的压力测试和兼容性验证。通过模拟真实世界的查询场景,SQLsmith 可以有效暴露数据库在处理复杂查询时的潜在问题,是数据库开发和维护过程中不可或缺的测试工具。 ## 🚀 核心功

gitblog_00340的博客 788

阅读笔记:DynSQL: Stateful Fuzzing for Database Management Systems with Complex and Valid SQL Query Gener

现有的fuzzer往往在query的复杂性和有效性中权衡:SQLsmith在每个query中只加入一条statement以避免分析statement的依赖关系分析;SQUIRREL使用中间表示(IR)推断依赖关系以生成更复杂的查询,但它生成的query超过50%不可用,且倾向于生成简单的statement。原因:这些fuzzer无法获得准确的状态信息,因此必须限制生成query的复杂性来耐受这些不正确性。*DBMS的优化:列出几种可选的执行计划,选择效率最高的一种。前者2023.8 后者2023.4。

uni_xxxyd的博客 911

RisingWave SQLSmith 模糊测试指南:SQL 生成、确定性模拟与差分测试实战

SQLSmith(`src/tests/sqlsmith`)是 RisingWave 专门用于发现意外 panic 的模糊测试(fuzzing)工具:它基于 RisingWave 已支持的功能集合持续生成**语法上必然正确**的 SQL,并以「前端编译」与「E2E 全链路执行」两种模式轰炸数据库。读完本文,你将掌握如何在本仓库中运行前端单测、Madsim 确定性模拟、E2E 随机模糊与差分测试,能

gitblog_00624的博客 973

Databend 开源周报第 113 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 162

让 AI 修一个 Bug,怎样避免它顺手改坏其他功能?

这个按钮偶尔会触发两次,帮我修一下。需求只有一句。等改动出来,除了按钮处理,还可能包含公共函数调整、默认值变化,以及一批看起来更整齐的代码。如果这些改动混在一起,审查时就得重新确认:哪些是修复必需的,哪些会影响其他入口,已有数据还能不能正常读取?我现在让 AI 修问题时,会把这几件事提前说清楚。上一篇写了功能改完以后怎么验收,这次聊聊怎样控制修复范围,以及拿到代码后先看什么。

qq_26483133的博客 116
上一篇: Meetup 回顾|Data Infra 研究社第十六期(含资料发布)
下一篇: Databend 开源周报第 117 期
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值