给 Databend 添加 Scalar 函数 | 函数开发系例一

Flink Table API & SQL 自定义 Scalar 标量函数 1. 什么是标量函数 Scalar Function 也被称为标量函数,将 0 个、1个或多个标量值映射为一个新的标量值。输入与输出是一对一的关系,即读入一行数据,写出一条输出值。在自定义标量函数时,用户需要确认 Flink 内部是否已经实现相应的标量函数,如果已经实现则可以直接使用;如果没有实现,那么在注册自定义函数过程中,需要和内置的其他标量名称区分开,否则会导致注册函数失败,影响应用的正常执行。Flink 常见的内置标量函数有 DATE()、UPPER()、LTRIM() 等。 2. 定义标量函数 定 阅读详情

在 Databend 中按函数实现分为了:scalars 函数和 aggregates 函数。

Scalar 函数: 基于输入值,返回单个值。常见的 Scalar function 有 now, round 等。

Aggregate 函数: 用于对列的值进行操作并返回单个值。常见的 Agg function 有 sum, count, avg 等。

https://github.com/datafuselabs/databend/tree/main/src/query/functions/src

该系列共两篇,本文主要介绍 Scalar Function 从注册到执行是如何在 Databend 运行起来的。

函数注册

由 FunctionRegistry 接管函数注册。

#[derive(Default)]
pub struct FunctionRegistry {
    pub funcs: HashMap<&'static str, Vec<Arc<Function>>>,
    #[allow(clippy::type_complexity)]
    pub factories: HashMap<
        &'static str,
        Vec<Box<dyn Fn(&[usize], &[DataType]) -> Option<Arc<Function>> + 'static>>,
    >,
    pub aliases: HashMap<&'static str, &'static str>,
}

三个 item 都是 Hashmap。

其中,funcs 和 factories 都用来存储被注册的函数。不同之处在于 funcs 注册的都是固定参数个数的函数(目前支持最少参数个数为0,最多参数个数为 5),分为 register_0_arg, register_1_arg 等等。而 factories 注册的都是参数不定长的函数(如 concat),调用 register_function_factory 函数。

由于一个函数可能有多个别名(如 minus 的别名有 subtract 和 neg),因此有了 alias,它的 key 是某个函数的别名,v 是当前的存在的函数名,调用 register_aliases 函数。

另外, 根据不同的功能需求, 我们提供了不同级别的 register api。

图片

函数构成

已知 funcs 的 value 是函数主体,我们来看一下 Function 在 Databend 中是怎么构建的。

pub struct Function {
    pub signature: FunctionSignature,
    #[allow(clippy::type_complexity)]
    pub calc_domain: Box<dyn Fn(&[Domain]) -> Option<Domain>>,
    #[allow(clippy::type_complexity)]
    pub eval: Box<dyn Fn(&[ValueRef<AnyType>], FunctionContext) -> Result<Value<AnyType>, String>>,
}

其中,signature 包括 函数名,参数类型,返回类型以及函数特性(目前暂未有函数使用特性,仅作为保留位)。要特别注意的是,在注册时函数名需要是小写。而一些 token 会经过 src/query/ast/src/parser/token.rs 转换。

#[allow(non_camel_case_types)]
#[derive(Logos, Clone, Copy, Debug, PartialEq, Eq, Hash)]
pub enum TokenKind {
    ...
    #[token("+")]
    Plus,
    ...
}

以实现 `select 1+2` 的加法函数为例子,`+` 被转换为 Plus,而函数名需要小写,因此我们在注册时函数名使用 `plus`。

with_number_mapped_type!(|NUM_TYPE| match left {
    NumberDataType::NUM_TYPE => {
        registry.register_1_arg::<NumberType<NUM_TYPE>, NumberType<NUM_TYPE>, _, _>(
            "plus",
            FunctionProperty::default(),
            |lhs| Some(lhs.clone()),
            |a, _| a,
        );
    }
});

calc_domain 用来计算输出值的输入值的集合。用数学公式描述的话比如 `y = f(x)` 其中域就是 x 值的集合,可以作为f的参数生成 y 值。这可以使我们在索引数据时轻松过滤掉不在域内的值,极大提升响应效率。

eval 可以理解成函数的具体实现内容。本质是接受一些字符或者数字,将他们解析成表达式,再转换成另外一组值。

示例

目前在 function-v2 中实现的函数有这几类:arithmetric, array, boolean, control, comparison, datetime, math, string, string_mult_args, variant

以 length 的实现为例:

length 接受一个 String 类型的值为参数,返回一个 Number 类型。名字为 length,domain 不做限制(因为任何 string 都有长度)最后一个参数是一个闭包函数,作为 length 的 eval 实现部分。

registry.register_1_arg::<StringType, NumberType<u64>, _, _>(
    "length",
    FunctionProperty::default(),
    |_| None,
    |val, _| val.len() as u64,
);

在 register_1_arg 的实现中,我们看到调用的函数是 register_passthrough_nullable_1_arg,函数名包含一个 nullable。而 eval 被 vectorize_1_arg 调用。

注意:请不要手动修改 register_1_arg 所在的文件 [src/query/expression/src/register.rs](https://github.com/datafuselabs/databend/blob/2aec38605eebb7f0e1717f7f54ec52ae0f2e530b/src/query/expression/src/register.rs) 。因为它是被 [src/query/codegen/src/writes/register.rs](https://github.com/datafuselabs/databend/blob/2aec38605eebb7f0e1717f7f54ec52ae0f2e530b/src/query/codegen/src/writes/register.rs) 生成的。

pub fn register_1_arg<I1: ArgType, O: ArgType, F, G>(
    &mut self,
    name: &'static str,
    property: FunctionProperty,
    calc_domain: F,
    func: G,
) where
    F: Fn(&I1::Domain) -> Option<O::Domain> + 'static + Clone + Copy,
    G: Fn(I1::ScalarRef<'_>, FunctionContext) -> O::Scalar + 'static + Clone + Copy,
{
    self.register_passthrough_nullable_1_arg::<I1, O, _, _>(
        name,
        property,
        calc_domain,
        vectorize_1_arg(func),
    )
}

这是因为 eval 在实际应用场景中接受的不只是字符或者数字,还可能是 null 或者其他各种类型。而 null 无疑是最特殊的一种。而我们接收的参数也可能是一个列或者一个值。比如

select length(null);
+--------------+
| length(null) |
+--------------+
|         NULL |
+--------------+
select length(id) from t;
+------------+
| length(id) |
+------------+
|          2 |
|          3 |
+------------+

基于此,如果我们在函数中无需对 null 类型的值做特殊处理,直接使用 register_x_arg 即可。如果需要对 null 类型做特殊处理,参考 [try_to_timestamp](https://github.com/datafuselabs/databend/blob/d5e06af03ba0f99afdd6bdc974bf2f5c1c022db8/src/query/functions/src/scalars/datetime.rs)。

而对于需要在 vectorize 中进行特化的函数则需要调用 register_passthrough_nullable_x_arg,对要实现的函数进行特定的向量化优化。

例如 comparison 函数 regexp 的实现:regexp 接收两个 String 类型的值,返回 Bool 值。在向量化执行中,为了进一步优化减少重复正则表达式的解析,引入了 HashMap 结构。因此单独实现了 `vectorize_regexp`。

registry.register_passthrough_nullable_2_arg::<StringType, StringType, BooleanType, _, _>(
    "regexp",
    FunctionProperty::default(),
    |_, _| None,
    vectorize_regexp(|str, pat, map, _| {
        let pattern = if let Some(pattern) = map.get(pat) {
            pattern
        } else {
            let re = regexp::build_regexp_from_pattern("regexp", pat, None)?;
            map.insert(pat.to_vec(), re);
            map.get(pat).unwrap()
        };
        Ok(pattern.is_match(str))
    }),
);


函数测试

Unit Test

函数相关单元测试在 [scalars](https://github.com/datafuselabs/databend/tree/d5e06af03ba0f99afdd6bdc974bf2f5c1c022db8/src/query/functions/tests/it/scalars) 目录中。

Logic Test

Functions 相关的 logic 测试在 [02_function](https://github.com/datafuselabs/databend/tree/d5e06af03ba0f99afdd6bdc974bf2f5c1c022db8/tests/sqllogictests/suites/query/02_function) 目录中。

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend 文档:https://databend.rs/

  • Twitter:https://twitter.com/Datafuse_Labs

  • Slack:https://datafusecloud.slack.com/

  • Wechat:Databend

  • GitHub :https://github.com/datafuselabs/databend

数据库操作中的 Scalar Functions:详细解析与应用场景 在数据库领域中,Scalar Functions 被定义为返回单一值的函数。与返回表格或多个记录的表值函数不同,Scalar Functions 每次只对输入的值进行计算,并返回一个具体的单一结果。Scalar Functions 可以用于在 SQL 查询中处理和转换数据,无论是将日期格式转换为字符串,还是进行一些数学运算,它们都可以提供方便的工具。数学函数:例如ABS()SIN()ROUND()等,这些函数用于对数值数据进行数学运算。字符串函数:例如LEN()LOWER()UPPER() 阅读详情

相关推荐

Vivado2019.1 ZYNQ7020无Uart SDK调试打印调试信息xil_printf

Vivado2019.1 ZYNQ7020无Uart SDK调试打印调试信息xil_printf

泛红尘的博客 2998

【Houdini初认识】节点与节点编程初认识(学习记录)

节点的基本操作 1.想要切换视图看到某个节点所呈现的效果,要注意点击此节点的最右边蓝色键(或者蓝色小眼睛),如图所示: 2.想看看到物体以透视线框的形式展现,可以点击第二个按键,或者紫色的模板,如图所示: 下图为开启模板按键后的物体效果: 3.红色的雪花按钮为锁定按钮,一旦按确定锁定了雪花按钮,那么尝试再移动或者缩放这个节点,节点也不会发生变化。如下图所示: 节点的一些基本操作 对一个物体进行移动的操作: 1.在节点面板添加transform节点–>选中transform节点最右边的按钮–&g

SummerStarTREE的博客 6564

Basler相机和pylon viewer 的使用

文章目录1 线路连接2 安装和使用pylon 1 线路连接 电源线接到电源插座,网线接到电脑(电脑没有网口的话,可用转换器转到type-c接口)。 2 安装和使用pylon 参考 Basler pylon安装及对网口相机基本设置 相机和电脑以太网IP设置参考:balser相机IP设置 关于相机参数和pylon viewer的详细设置,可以参考pylon Viewer安装路径下的文档(Documentation) ...

Deephome的博客 1万+

Flink TableAPI和SQL(十八)UDF(二)标量函数(Scalar Functions)

文章目录标量函数(Scalar Functions) 标量函数(Scalar Functions) 自定义标量函数可以把 0 个、 1 个或多个标量值转换成一个标量值,它对应的输入是一行数据中的字段,输出则是唯一的值。所以从输入和输出表中行数据的对应关系看,标量函数是“一对一”的转换。想要实现自定义的标量函数,我们需要自定义一个类来继承抽象类 ScalarFunction,并实现叫作 eval() 的求值方法。标量函数的行为就取决于求值方法的定义,它必须是公有的(public),而且名字必须是 eval。求

weixin_45417821的博客 896

C#实战:基于ONNX与SCRFD/ArcFace的高效人脸识别系统开发

本文详细介绍了如何在C#环境中,利用ONNX Runtime高效部署SCRFD人脸检测与ArcFace人脸识别模型,构建一个完整的、高性能的人脸识别系统。内容涵盖环境搭建、模型推理、人脸对齐、特征提取等核心模块,并提供了从Demo到生产系统的优化思路与实战代码,为.NET开发者提供了一套开箱即用的解决方案。

weixin_29061821的博客 490

【数据中台】数据中台架构搭建百科全书

0、前言 当前,大部分企业不再建设从源数据采集到分析应用的烟囱式系统,更倾向于数据集中采集、存储,并应用分层建设。这种方式一方面有利于应用系统的快速部署,另一方面也保证了数据的集中管理与运营,体现数据的资产、资源属性。 数据中台的出现弥补了数据开发和应用开发之间由于开发速度不匹配而出现的响应力不足等缺陷问题。 数据中台是国内学者提出的概念,起始于阿里的“大中台、小前台”概念。阿里的中台是从管理的角度出发,以中台事业部集中数据搜索,技术及产品,数据共享等多个部门的功能。其他组织或企业建设数据中台不一定需

Sunny的专栏 8407

【Cypher】标量函数(Scalar Functions):对单个值进行操作并返回单个值的函数,例如:toString()、coalesce()、length()、size()、replace()

标量函数(Scalar Functions)是 Cypher 中对单个值进行操作并返回单个值的函数。标量函数通常作用于节点属性、关系属性或常量,并返回一个计算后的结果。这些函数广泛用于 RETURN、WITH 和 SET 语句中,可进行字符串处理、数值计算、类型转换等操作。

彬彬侠的博客 1430

项目计划书、规划文档模板

项目计划书、规划文档模板 最近通过项目实践经历,整理出的一套项目计划书(仅供自己参考梳理思路使用) 有喜欢的文末加VX 辛苦码字如有转载请标明出处谢谢!——木研 更新的简版项目规划文档! 原版文件请+vx :baierfa ...

weixin_43194923的博客 992

SQL Server 自定义函数(Function)

SQL Server 自定义函数(Function)——参数默认值 sql server 自定义函数分为三种类型:标量函数(Scalar Function)、内嵌表值函数(Inline Function)、多声明表值函数(Multi-Statement Function) 标量函数:标量函数是对单一值操作,返回单一值。 内嵌表值函数:内嵌表值函数的功能相当于一个参数化的视图。它返回的是一个表...

【Stevenson】的专栏 1万+

告别手动配置!用Vector vLinkGen 2.1.0自动生成AUTOSAR链接脚本(附bss段配置详解)

本文详细介绍了如何使用Vector vLinkGen 2.1.0工具自动生成AUTOSAR链接脚本,告别繁琐的手动配置。通过解析vLinkGen的核心架构和bss段配置实践,帮助开发者提升嵌入式软件开发效率,支持多种主流编译器,实现精确的内存分配和初始化策略。

weixin_28716181的博客 380

sldd数据字典导出为excel

sldd导出为excel

zpfjf的博客 2240

This week in Databend #17

Databend aimed to be an open source elastic and reliable cloud warehouse, it offers blazing fast query and combines elasticity, simplicity, low cost of the cloud, built to make the Data Cloud easy. Big changes Below is a list of some major changes that we.

Databend的博客 265

1. linux系统下在QT中配置OPenCV开发环境

在Linux系统下配置OpenCV的开发环境,需要在官网上下载源码,并使用CMake工具对源码进行编译,与在Windows系统中配置相比复杂许多,本文linux系统为linux minit,opencv是最新版本4.7.0,不过对于linux和opencv的版本要求行不高。此项更改为自己OPenCV想要安装的路径内,默认是安装在**/usr/local。在打开的文件中添加下图中的一行代码,路径是opencv默认的安装路径。按钮,弹出下图界面,默认选择即可,然后点击。

山间点烟雨 2906

Subquery? No, it‘s join!

作者:王旭东 Databend 研发工程师在 SQL 查询中,子查询是一种常用的技术,它允许我们在一个查询内部嵌套另一个查询,以实现更复杂的数据检索和分析。如何在数据库内核中高效的处理子查询是非常有挑战的,本文将介绍如何在 Databend 中构建 state-of-art 的子查询 optimizer。从宽泛的角度,子查询分为关联和非关联子查询, 细分的种类包含:SCALAR/ANY/ALL/SOME/(NOT)IN/(NOT)EXISTS. 对于每一种子查询的含义,读者可以参考:。inany。

Databend的博客 179

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Scala详解(2)

将一段逻辑进行封装便于进行重复使用,被封装的这段逻辑就是函数。在Scala中,必须通过def来定义函数基本语法def 函数名(参数列表) : 返回值类型 = {函数体return 返回值案例// 案例:定义函数计算两个整数的和// 标准写法// 因为在Scala中,所有的结构都必须有返回值// 所以在函数中,如果不指定,默认会将最后一行的计算结果作为返回值// 也因此可以省略return不写a + b// 如果函数体只有一句话,那么此时也可以省略{}不写。

m0_51388399的博客 871

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

scala function从入门到理解

在 Scala 中,至少有两种语法形式用于使用 定义函数。最大的区别是:是希望 (a) 让返回类型为"隐式",这意味着您不显示它,编译器推断它- 还是 (b) 显式定义函数的返回类型 val add1 = (i: Int) => i + 1 // implicit return type (IRT) val add1: Int => Int = (i) => i + 1 // explicit return type (ERT) 函数体可以用{} val add

鸭梨的博客 777

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Presto 标量函数注册和调用过程简述

上一篇文章已经介绍过如何进行函数开发,本文主要讲述标量函数(Scalar Function)实现之后,是如何在Presto内部进行注册和被调用的。主要讲述标量函数是因为:三类函数的注册和调用过程略有不同,而实际查询中调用最多的是标量函数。 标量函数注册 函数在能够调用之前,首先要进行注册,上一篇文章已经介绍过函数注册的方法,那么函数在注册时究竟注册了哪些信息呢?函数注册实际上是维护FunctinoRegistry类中的一个 MultiMap,Key 为函数的限定名(QualifiedName,可以简单地

eagooqi的专栏 589

Flink自定义函数

文章目录01 引言02 如何注册自定义函数?03 自定义函数分类3.1 Scalar Function3.1.1 Scalar Function如何实现?3.1.2 Scalar Function举例3.1.3 特殊返回值处理3.2 Table Function3.2.1 Table Function如何实现?3.2.2 Table Function举例3.3 Aggregation Function3.3.1 Aggregation Function如何实现?3.3.2 Aggregation

阿甘兄 3770

【Databand】日期时间函数

本文主要介绍 Databend 数据库中日期时间类函数的应用,学习实践本文示例,即可掌握数据库日期时间类似应用处理。

小发菜 1760

【Databend】行列转化:一行变多行和简单分列

本文主要介绍数据分列和一行变多行的应用,通过学习本文,相信基本上能处理类似问题,遇到面试相关问题也能完美解决。

小发菜 1219

C++中函数重载的分析

在C语言中,是没有重载这个概念的,不过C++对C语言进行了升级,在C++之后的语言,几乎都有重载这一个概念。 重载:就是同一个标志符在不同上下文有不同的含义。 函数重载:用同一个函数名定义不同的函数。当同一个函数名搭配不同的参数列表的时候,函数的意义不同。例如: int func(int x) { return x; } int func(int x,int y) { return x+y;...

bendanfly的博客 199

SQL函数(二) --- Scalar

SQL Scalar 函数基于输入值,返回一个单一的值。 SQL UCASE 函数 SQL LCASE 函数 SQL MID 函数 SQL LEN 函数 SQL ROUND 函数 SQL NOW 函数 SQL FORMAT 函数 演示数据库: person表: SQL UCASE() 函数 UCASE() 函数把字段的值转换为大写。 SQL UCASE()

Lamitry的博客 2360

聊聊flink Table的ScalarFunction

序 本文主要研究一下flink Table的ScalarFunction 实例 public class HashCode extends ScalarFunction { private int factor = 0; @Override public void open(FunctionContext co...

weixin_34194359的博客 1192
上一篇: Databend 开源周报 第 79 期
下一篇: 给 Databend 添加 Aggregate 函数 | 函数开发系例二
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值