Rewrite sqllogictest framework in rust

Qdrant 深度拆解:35K Star 的 Rust 向量数据库,是如何把 HNSW、Payload 过滤和量化压缩揉成一台机器 Qdrant 是基于 Rust 构建的向量数据库,以高效协同稠密向量(HNSW)、Payload 过滤与量化索引著称。其核心优势在于三者在查询中同步生效,兼顾召回率与性能。适用于 RAG、语义搜索、推荐系统及多租户场景,但不擅长事务或精确检索。架构分层清晰,写入经 WAL 保障一致性,检索通过分片与段并行加速。关键技术包括过滤感知 HNSW、ACORN 跨跳搜索、八类 Payload 索引、四档量化(如 TurboQuant、Product)及灵活多租户策略。最新版本 v1.20.1 强化了嵌套索引与重打分 阅读详情

Sqllogictest is a program designed to verify that an SQL database engine computes correct results by comparing the results to identical queries from other SQL database engines. Sqllogictest was originally designed to test SQLite[1], but it is database engine neutral and can just as easily be used to test other database products.

在 rust 生态中,https://github.com/risinglightdb/sqllogictest-rs 是一个非常优秀的 sqllogictest 框架实现,得益于此,Databend 才能方便快速的把 sqllogictest 框架从 python 切换到 rust。

背景

由于一些历史原因,Databend 最初的 sqllogictest 框架是 python 版本的,具体可见 https://databend.rs/doc/contributing/rfcs/new_sql_logic_test_framework

出于以下原因,我们决定 Rewrite it in rust

  • ‍统一 codebase, 全部用 rust, 长期来看可以提高 框架的开发和迭代速度。
  • sqllogictest-rs[2] crate 逐渐成熟,基于它来构建 Databend 新的 sqllogictest 框架可以节省很多劳动力。
  • 没有严格的 parser 前端,一些错误不能被捕获。
  • 从 python 切换成 rust, 有潜在的性能提升,当前 python 版本的 sqllogictest 运行时间不理想,导致 CI 比较慢,最终结果也比较理想,有约十倍的提升。

现实中遇到的问题

第一版的 sqllogictest 并没有严格按照 sqllogictest wiki[3] 进行实现,所以测试文件的格式需要调整(纯纯的体力活),比如

  • query and ---- 中间有多余的空行
  • 注释的格式不一样
  • 一些 query 的结果是空的,比如 select ‘’ , 1,就直接用了来展示,在整个测试文件中容易造成困扰,需要用 (empty)来进行显示代替

‍Databend 支持三种 client handler: mysql, http, clickhouse 具体可见 handlers[4], 每一种协议返回的内容格式是不同的,mysql 比较正常,但是 http 返回 json, clickhouse 返回 tsv。所以需要针对每一种格式进行解析,其中一些特殊符号也需要进行统一,这样才能保证三种协议可以使用同一份测试文件。在 http 和 clickhouse 中,需要做以下一些替换:

  • inf -> Infinity
  • nan -> NaN
  • \\N -> NULL

测试文件之间的隔离。为了可以尽可能的提高并行度(多个测试文件之间可以并行运行),需要对不同的文件进行隔离,防止误用 database 或者 table, 避免 database 或者 table 被错误的 drop, 我们引入了 sandbox tenant,每个 test file 一个独立的沙盒环境,从而文件之间可以并行的运行,大大减少了测试时间。

未解决的问题

如果有效的对查询结果是动态的 query 进行测试?

比如 SHOW TABLE STATUS 结果中会包含 table 的创建时间,这个结果是动态的,如何对这类 sql 进行测试是一个值得讨论的问题。

总结

整体来看,从 python 版本切换到 rust 版本,解决背景中提到的问题,收益还是非常不错的,RIIR 有其合理性!关于 Databend sqllogictest 框架的使用,可参考 README[5]。

未来的一些 todos: sqllogictest tracking[6]。最后也感谢 sqllogictest-rs[7] 的支持!

引用链接

[1] SQLite: https://www.sqlite.org/index.html
[2] sqllogictest-rs: https://github.com/risinglightdb/sqllogictest-rs
[3] sqllogictest wiki: https://www.sqlite.org/sqllogictest/doc/trunk/about.wiki
[4] handlers: https://databend.rs/doc/reference/api
[5] README: https://github.com/datafuselabs/databend/blob/main/tests/sqllogictests/README.md
[6] sqllogictest tracking: https://github.com/datafuselabs/databend/issues/9174
[7] sqllogictest-rs: https://github.com/risinglightdb/sqllogictest-rs

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend 文档:https://databend.rs/
  • Twitter:https://twitter.com/Datafuse_Labs
  • Slack:https://datafusecloud.slack.com/
  • Wechat:Databend
  • GitHub :https://github.com/datafuselabs/databend
alasql-sqllogictest:适用于AlaSQL的sqllogictest 适用于AlaSQLSQLlogictest 测试SQL兼容性 如何? 去进行markdown夏季运行npm test: npm test 结果将输出到results/output.md 什么? run.js的输出是每个测试文件的输出,后跟总分。 (因此,您可以跟踪通过测试的总体百分比,为什么会继续运行) 完整的测试套件中大约有200万个测试。 许多测试将触发相同类型的错误-这就是为什么输出在第一次出现时仅输出相同错误的原因。 为了获得更多示例,即使以前已经打印过,它也会随机打印错误。 您也可以选择打印所有错误。 请参阅run.js文件中的config部分。 请注意,脚本的当前版本仅在SQL可以编译的情况下进行测试-如果返回的值正确,则不会进行测试。 为了确保您正在测试最新的稳定版本,请运行以下命令: npm install alasql 请参阅run文件的“配置”部分,以在 立即下载

相关推荐

算法策略 | MACD跨周期短线交易策略开发(股指+商品双版)

量化策略开发,高质量社群,交易思路分享等相关内容

松鼠宽客的博客 2541

sql测试语言Sqllogictest

关于Sqllogictest 原文链接:https://www.sqlite.org/sqllogictest/doc/trunk/about.wiki 测试脚本 注释:# 不要求返回结果的语句(如建表,增删改): 每个语句后接一个SQL命令,预期成功ok,预期失败error statement ok #注意末尾不要加 ';' statement error # 查询语句 预期返回结果并进行比较 query <type-string> <sort-mode> <label&

小烧卖的博客 749

整车 EOL下线 测试系统介绍

整车下线(EOL)测试专门针对整车进行设计开发,是车企将组装好的整车交付客户前的 最后一道检测工序。EOL 测试针对的是整车下线测试,不同于零部件下线,是整车级别的下线 测试,测试过程关系整车的每个零部件,其测试质量直接影响到整车的质量好坏。因此,整车EOL测试是整车下线必不可少的测试过程.

王小奎的博客 5499

详解 Sqllogictest

sqllogictest 最早是 SQLite 进行测试的工具,由 SQLite 的作者 D. Richard Hipp(理查德 希普)设计开发。关于相关的设计理念可以在找到。sqllogictest 的目标是保证数据库引擎执行结果是正确的。因此它不会关注其他方面的问题,诸如性能、索引优化、磁盘内存的使用情况、并发和锁等。YDB使用 python 实现使用 go 实现。

Databend的博客 809

企业数字化建设之——品牌零售全渠道运营中台解决方案

OMS审单 --> 订单进入OMS待发货列表区域 --> 备货(线下)-->拣货((线下 )-->质检(线下)--> 包装(线下)--> 快递员取货(线下)(物品 + 客户收货地址清单 )--> 快递员发货(2.2.5 正常退货,客户发起 --> 客服助理审核 --> 评审组 --> ( 货物运输 ) -->质检 ->仓库收货入 正常仓库 -->财务退款,记账。OMS审单 --> 订单进入物流公司系统(如:*丰),--> 快递员发货 --> 物流状态同步OMS --> OMS同步物流状态到销售平台。

java_zhong1990的专栏 613

通信算法之283:大疆DJI云哨系统-DJI DroneID物理层协议-解速率匹配及Turbo译码

3. 完整云哨接收机,接收灵敏度。交流: 1279682290 ,2. Turbo译码模块。1. 解速率匹配模块。

leegang12的专栏 870

Sqllogictest-rs 开源项目教程

Sqllogictest-rs 开源项目教程 项目介绍 Sqllogictest-rs 是一个用 Rust 编写的测试框架,旨在验证 SQL 数据库的正确性。该项目提供了两个 crate:sqllogictest 是一个包含 sqllogictest 解析器和运行器的库,而 sqllogictest-bin 是一个用于运行 sqllogictest 的 CLI 工具。Sqllogictest-rs...

gitblog_00453的博客 473

【K8S系列】Kubernetes 中 Pod 无法通过 Service 名称访问服务的 DNS 解析失败问题【已解决】

在 Kubernetes 中,Service 提供了一种稳定的方式,通过名称访问一组 Pod。当其他 Pod 无法通过 Service 名称访问服务,并且出现 DNS 解析失败时,通常会导致应用无法正常工作。本文将详细分析此问题的常见原因及其解决方案。

颜淡慕潇 1万+

探索数据库正确性的新境界:Sqllogictest-rs深度剖析与应用指南

探索数据库正确性的新境界:Sqllogictest-rs深度剖析与应用指南 在数据处理的浩瀚宇宙中,确保SQL数据库的逻辑正确性显得尤为重要。今天,我们向您隆重介绍【Sqllogictest-rs】——一个专为验证SQL数据库准确度而生的强大框架。借助Rust语言的高效与严谨,Sqllogictest-rs成为了开发者手中的一把利剑,刺穿错误,守护数据的纯净之光。 项目介绍 Sqllogictes...

gitblog_00091的博客 506

uniapp - H5人脸识别认证与活体检测功能(纯前端免费方案+微信sdk人脸识别)完整源码,微信公众号网页/h5端人脸识别功能人脸核身(微信方案提供后端spring boot+thinkphp源码

uniapp实现人脸认证,uniAPP h5手机拍照+人脸识别,免费人脸识别插件,前端人脸识别解决方案,uniapp H5人脸识别带前后摄像头,人脸识别在H5页面进行采集,微信公众号H5人脸核身,H5端人脸识别功能实现,免费h5人脸识别插件方案,微信公众号H5网页实现人脸识别,uniapp人脸监测,uniapp人脸生物监测,使用uniapp开发H5人脸采集功能/人脸识别功能,uniapp项目—h5端人脸采集功能实现,uniapp vue3人脸核身,H5活体检测认证,人脸认证张嘴摇摇头指引动作,人脸核身 微信

🏆 前端领域优质创作者 3810

r3live 使用前提 雷达-相机外参标定 livox_camera_lidar_calibration

港科大livox_camera_calib虽然操作方便,但是使用mid360雷达会有视角问题(投影三维点到相机),尝试了很多场景,标定效果都不理想(推荐场景是楼梯间),看来港大的更适合avia之类窄角度的雷达。如果标定效果不好的话,就使用 getExt2节点,getExt1节点只优化外参,而getExt2节点在计算的时候会将一开始计算的内参作为初值和外参一起优化。一般使用getExt1节点即可,如果在外参初值验证过,并且异常值已经剔除后,优化还是有较大的残差,那么可以使用getExt2试一试。

z1872385的博客 2401

Materialize项目中的SQL逻辑测试(SQLLogicTest)深度指南

Materialize项目中的SQL逻辑测试(SQLLogicTest)深度指南 概述 SQL逻辑测试(SQLLogicTest)是Materialize项目中用于验证SQL功能正确性的重要测试框架。本文将深入解析Materialize项目中SQLLogicTest的扩展功能和使用技巧,帮助开发者编写高质量的SQL测试用例。 测试编写规范 函数测试要点 在Materialize中测试新函数时,需要...

gitblog_01014的博客 331

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

CnosDB成为首个支持sqllogictest的时序数据库,稳定性与可靠性再升级

云原生时序数据库CnosDB引入了sqllogictest集成框架。通过将sqllogictest集成到CnosDB中,开发人员可以更轻松地测试和验证数据库的正确性,并能够快速地发现和解决潜在的问题。

打造高性能、高压缩比、高可用的分布式云原生时间序列数据库,引领世界迈向万物智联 431

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

SQL兼容性测试工具

sqllogictest:  http://www.sqlite.org/sqllogictest/doc/trunk/about.wiki NIST SQL Test Suite: http://www.itl.nist.gov/div897/ctg/sql_form.htm

luke_wang的专栏 1711

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

SQL语句兼容性规范

一、DDL兼容性规范(防止表结构变更后,原有的SQL执行报错)只能增加字段或修改字段长度(字段长度改大),不能修改字段名字和类型,不能删除字段不能删除表或者修改表名称 二、DML兼容性规范insert语句需指定列,INSERT INTO table_name (列1, 列2,...) VALUES (值1, 值2,....)字段的含义只能扩充而不能修改和缩减,如需修改和缩减,必须用新字段...

weixin_30758821的博客 479

如何为 Databend 添加新的测试

测试是提高软件健壮性、加速迭代进程的不二法宝。本文将会介绍如何为 Databend 添加不同种类的测试。Databend 的单元测试组织形式有别于一般的 Rust 项目,是直接一股脑放在 tests/it 目录下的。同时,在各个 crate 的 Cargo.toml 中,也针对性地禁用了 doctest 和 bin/lib test 。 优点:缺点:可以简单地将单元测试分为两类,一类是不需要外部文件介入的纯 Rust 测试,一类是 Golden Files 测试。 Rust 测试 与平时编写 Rust 单元

Databend的博客 316

SQL logic error or missing database no such table: xxx

System.Data.SQLite.SQLiteException (0x80004005): SQL logic error or missing database no such table: xxx 错误原因:在连接数据库时,数据库文件没有使用绝对路径: new SQLiteConnection("Data Source=xxx.sqlite;Version=3;");

friendan的专栏 3万+

NIST的SQL测试用例参考网址

SQL Test Suite 用户指南https://www.itl.nist.gov/div897/ctg/sql-testing/sqlman60.htm#Ai SQL测试套件 下载地址:https://www.itl.nist.gov/div897/ctg/software.htm

captain 557

rust: Fan-out/Fan-in Pattern

本项目基于Rust实现珠宝行业全流程的扇出/扇入模式,采用DDD六层架构。通过ProcessRequestDto与ProcessResponseDto传输数据,将采购、设计、生产等12个业务阶段抽象为可并行执行的FanoutTask子任务。核心由JewelryFanoutFanin实现并行调度:先扇出至12个线程并发执行,再统一扇入汇总结果。系统集成日志(文件+控制台)、重试熔断、内存仓储及依赖注入容器,支持顺序与并发两种调度方式,确保高并发下任务可靠执行与可观测性。

Geovin Du Dream Park 166

组网第63课:安全域划分——Trust/Untrust/DMZ、区域模型、与 VLAN 的关系

一组接口 + 一组策略 + 一条默认拒绝。一组接口:这个域包含哪些物理口、VLAN、子接口;一组策略:这个域到别的域放行什么、拒绝什么;一条默认拒绝:没写进策略的,一律不通。第三条最关键。没有默认拒绝,前面划的域全是装饰。

qq_36765170的博客 574

Rust组织管理(AI回答)

你想做的事JS / Python 做法Rust 做法把一个文件纳入工程新建文件即可新建 xxx.rs 后,必须在入口写mod xxx;挂载对外暴露函数/结构体export(Python 默认全公开)默认全私有,必须显式加pub引入别处的函数use crate::模块名::函数名;找路径的基准词./ 或 ../(从 src 根出发)、(上一级 ../)、(当前级 ./)日常写项目:不要用 #[path],直接遵守默认规则——

yaoct的博客 154

自建 RustDesk 服务端后,做一个“装完就能连“的客户端

如果有云服务的话,可以基于 RustDesk 的 hbbs / hbbr 自己部署一套,不过会碰到一个问题:每台电脑装完客户端,都得手动去设置里填三样东西——ID 服务器、中继服务器、Key。填错一个就连不上,还得远程指导同事操作。这篇记录两种解决办法,以及云端编译的完整流程。内容基于 RustDesk 1.5.3 的源码。

风声的专栏 654

Rust LeetCode443 算法题解

LeetCode 443 字符串压缩:原地行程编码,用 start 标记组起点、next 扫描组边界、i 原地写出;长度 1 不写计数使编码不膨胀,写指针不越过读指针。时间 O(n),额外空间 O(1)。

weixin_43379230的博客 198

追踪数据重启就没了?Grafana Tempo 把 trace 块当 Parquet 落进 RustFS

分布式追踪的 trace 如果只存在 Tempo 本地磁盘,节点一重启就找不回来,排障时正好缺了那段。把 RustFS 当 Tempo 的对象存储后端,完成的 trace 块以 Parquet 落进桶,重启后照样能查。本文用 Grafana Tempo(grafana/tempo)2.9.5 配 RustFS 跑通单节点验证。

分布式存储与RustFS的博客 632
上一篇: Databend 开源周报 #73
下一篇: Databend 开源周报 #74
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值