给 Databend 添加 Aggregate 函数 | 函数开发系例二

clickhouse 之windows function Window Functions 在clickhouse的需求和呼声很高,早期的版本需要借助array函数,在21.1版本进行了开窗函数的初步支持。 Initial support in version 21.1,Already supported: OVER (PARTITION BY ... ORDER BY ...); aggregate functions over windows; WINDOW clause; upcoming: non-aggregate window functio... 阅读详情

在介绍 Scalar Function(给 Databend 添加 Scalar 函数 | 函数开发系例一) 后,我们来看 Aggregate Function。

Aggregate Function 用于对列的值进行操作并返回单个值。常见的 Agg Function 有 sum, count, avg 等。

函数注册

Agg Function 的 register 函数以小写的函数名和 AggregateFunctionDescription 类型为参数,每个被注册的函数都存入 case_insensitive_desc ( HashMap 结构) 中。

而 case_insensitive_combinator_desc 是为了存储一些组合函数,比如与 _if 组合的 count_if, sum_if 这类函数。

pub struct AggregateFunctionFactory {
    case_insensitive_desc: HashMap<String, AggregateFunctionDescription>,
    case_insensitive_combinator_desc: Vec<(String, CombinatorDescription)>,
}
impl AggregateFunctionFactory {
  ...
pub fn register(&mut self, name: &str, desc: AggregateFunctionDescription) {
        let case_insensitive_desc = &mut self.case_insensitive_desc;
        case_insensitive_desc.insert(name.to_lowercase(), desc);
    }
  ...
}

每个被注册的函数都要实现 trait AggregateFunction 和 AggregateFunctionFeatures。其中 AggregateFunctionFeatures 和 Scalar 中的 FunctionProperty 比较类似,都是存储函数的一些特质。

pub type AggregateFunctionRef = Arc<dyn AggregateFunction>;
pub type AggregateFunctionCreator =
    Box<dyn Fn(&str, Vec<Scalar>, Vec<DataType>) -> Result<AggregateFunctionRef> + Sync + Send>;
pub struct AggregateFunctionDescription {
    pub(crate) aggregate_function_creator: AggregateFunctionCreator,
    pub(crate) features: AggregateFunctionFeatures,
}

主要来看 trait AggregateFunction,这里面是 Agg Function 的构成。

函数构成

可以看到与 Scalar 直接使用一个 Struct 不同,[AggregateFunction](https://github.com/datafuselabs/databend/blob/d5e06af03ba0f99afdd6bdc974bf2f5c1c022db8/src/query/functions/src/aggregates/aggregate_function.rs) 是一个 trait。因为聚合函数是按 block 累加列中的数据,再累加过程中会产生一些中间结果。

因此 Aggregate Function 必须有初始状态,而且聚合过程中生成的结果也要是 mergeable (可合并) 和 serializable (可序列化) 的。

主要函数有:

  • name 表示被注册的函数的名字,比如 avg, sum 等等。

  • return_type 表示被注册的函数返回值的类型,同样的函数返回值可能会由于参数类型的不同而产生变化。比如 sum(int8) 参数为 i8 类型,但是返回返回值可能是 int64。

  • init_state 用来初始化聚合函数状态。

  • state_layout 用来表示 state 在内存中的大小和内存块的排列方式。

  • accumulate 用于SingleStateAggregator。也就是着整个块可以在单个状态下聚合,没有任何 keys。比如 select count(*) from t 此时查询中没有任何分组列的聚合,这时会调度 accumulate 函数。

  • accumulate_keys 则是用于 PartialAggregator。这里需要考虑 key 和 offset ,每个 key 代表一个唯一的内存地址,记为函数参数 place。

  • serialize 将聚合过程中的 state 序列化为二进制。

  • deserialize 从二进制反序列化为 state。

  • merge 用于合并其他 state 到当前 state。

  • merge_result 可以将 Aggregate Function state 合并成单个值。

示例

以 avg 为例

具体实现在 [aggregate_avg.rs](https://github.com/datafuselabs/databend/blob/d5e06af03ba0f99afdd6bdc974bf2f5c1c022db8/src/query/functions/src/aggregates/aggregate_avg.rs) 中。

因为我们需要累加每个值,并除以非 null 总行数。因此 avg function 被定义为 struct AggregateAvgFunction<T, SumT> 。其中 T 和 SumT 是实现 [Number](https://github.com/datafuselabs/databend/blob/2aec38605eebb7f0e1717f7f54ec52ae0f2e530b/src/query/expression/src/types/number.rs) 的逻辑类型。

在聚合过程中 avg 会产生的中间状态值是 已经累加的值的总和 以及 已经扫描过的非 null 的行。因此 AggregateAvgState 可以被定义为如下结构。

#[derive(Serialize, Deserialize)]
struct AggregateAvgState<T: Number> {
    #[serde(bound(deserialize = "T: DeserializeOwned"))]
    pub value: T,
    pub count: u64,
}

  • return_type 设置为 Float64Type。比如 value = 3, count = 2, avg = value/count。

  • init_state 初始状态设置 value 为 T 的 default 值,count 为 0。

  • accumulate AggregateAvgState 的 count, value 分别对 block 中非 NULL 的行数和值进行累加。

  • accumulate_keys 通过 place.get::<AggregateAvgState>() 获取对应的状态值,并进行更新。

fn accumulate_keys(
    &self,
    places: &[StateAddr],
    offset: usize,
    columns: &[Column],
    _input_rows: usize,
) -> Result<()> {
    let darray = NumberType::<T>::try_downcast_column(&columns[0]).unwrap();
    darray.iter().zip(places.iter()).for_each(|(c, place)| {
        let place = place.next(offset);
        let state = place.get::<AggregateAvgState<SumT>>();
        state.add(c.as_(), 1);
    });
    Ok(())
}

类似的聚合函数示例也可以参考

[sum](https://github.com/datafuselabs/databend/blob/d5e06af03ba0f99afdd6bdc974bf2f5c1c022db8/src/query/functions/src/aggregates/aggregate_sum.rs),

[count](https://github.com/datafuselabs/databend/blob/d5e06af03ba0f99afdd6bdc974bf2f5c1c022db8/src/query/functions/src/aggregates/aggregate_count.rs)。

函数测试

Unit Test

聚合函数相关单元测试在 [agg.rs](https://github.com/datafuselabs/databend/blob/d5e06af03ba0f99afdd6bdc974bf2f5c1c022db8/src/query/functions/tests/it/aggregates/agg.rs) 中。

Logic Test

Functions 相关的 logic 测试在 [tests/logictest/suites/base/02_function/](https://github.com/datafuselabs/databend/tree/d5e06af03ba0f99afdd6bdc974bf2f5c1c022db8/tests/sqllogictests/suites/query/02_function) 中。

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend 文档:https://databend.rs/

  • Twitter:https://twitter.com/Datafuse_Labs

  • Slack:https://datafusecloud.slack.com/

  • Wechat:Databend

  • GitHub :https://github.com/datafuselabs/databend

如何处理动态语言(Python / JS)的“隐形”调用链? 本文揭示动态语言(Python/JS)中静态AST解析导致调用链“断链”的核心问题,提出通过运行时追踪补全图谱的解决方案。基于Code-Graph-RAG的cgr trace机制,分别利用pytest插件与V8 Profiler捕获真实调用路径,将动态边合并至静态图谱,并在权重体系中提升动态边优先级。实践表明,该方法可显著提升图谱覆盖率,实现“结构+行为”双视角理解代码,为MCP与Rerank系统提供可靠支持。 阅读详情

相关推荐

TiDB实战篇-数据库写入慢常见处理方式

TiDB实战篇-数据库写入慢常见处理方式

S1124654的博客 1011

【sql】clickchouse别名使用,聚合函数报错情况

ClickHouse exception,Aggregate function sum(student_num) is found inside another aggregate function in query: While processing sum(student_num) AS student_num. (ILLEGAL_AGGREGATION) clickhouse别名复用

开发随笔-猫咪酱 4283

DIC新手避坑指南:压缩实验中的应变测量常见错误与数据校验技巧

本文为DIC技术新手提供了压缩实验中应变测量的全面避坑指南。文章系统梳理了从试样尺寸录入、散斑质量到数据后处理中应变方向与符号混淆、数据插值对齐等常见错误,并分享了基于MATLAB的自动化数据校验与可视化对比技巧,帮助建立可靠的实验数据分析SOP,确保DIC测量结果的准确性。

weixin_29313423的博客 115

ClickHouse表引擎

1 概述 ​ 表引擎在ClickHouse中的作用十分关键,表引擎有如下作用: ​ (1)数据如何存储,存在哪,数据写到哪, 怎样读取数据; ​ (2)支持哪些查询以及如何支持; ​ (3)并发数据访问; ​ (4)索引的使用; ​ (5)是否可以执行多线程的请求; ​ (6)数据如何同步。 2 表引擎系列 2.1 MergeTree系列 ​ MergeTree系列是对于高负载任务的最通用和最实用的表引擎。这些引擎共享的属性是快速数据插入和后续的后台数据处理。想要高效地一批批写入数据片段,并

fighting 3722

Nginx&&Keepalived(一)Keepalived介绍

一、背景: 案例1:如现有服务my-service-demo,希望实现高可用和负载均衡: 首先,my-service-demo服务部署在两台机器上,通过nginx去代理这两个节点,负载均衡就实现了。如果只有一个nginx,这台nginx机器一旦宕机,访问nginx会报错。这时候在另外一台机器nginx2上也安装nginx,并配置同样的代理,可以解决上述问题,但是暴露给用户的只有一个域名(或ip),不可能给用户提供两个域名,域名1(nginx机器1)访问不了了再让用户访问域名2(nginx机器2),这

w_t_y_y的博客 2886

OpenClaw 多代理协同工作模式配置指南

OpenClaw 采用。

形上得其象,形下合于数;阴阳自济,玄理自明。 1万+

JavaScript 函数式编程

这篇文章将介绍 JavaScript 的函数式编程的理论. 其中有属于语言内置的内容, 其他均为额外实现, 但是所有内容都是类似于 Haskell 的很通用的"纯函数式语言". 首先, 我想先说明一下"纯函数式语言"的含义. 这类语言都是"安全"的, 它们不会产生任何副作用, 例如: 执行表达式不会改变内部状态, 从而导致在下一次调用同一个表达式时产生不同的结果. 这看起来似乎很怪异并且没什么用,...

weixin_30800807的博客 256

Cilium动手实验室: 精通之旅---5.Mutual Authentication with Cilium

在Cilium 入门实验室中,您将在受《星球大战》启发的场景中实施高级第 3-7 层网络策略。在实验结束时,您将实施强大的网络策略,并通过微分段保护 Empire 免受来自叛乱的攻击。在本实验中,您将重新部署《星球大战》演示应用程序,但除了网络策略之外,您还将了解如何在工作负载之间实施相互身份验证。

Q先生 1401

给 Databend 添加 Scalar 函数 | 函数开发系例一

因为它是被 [src/query/codegen/src/writes/register.rs](https://github.com/datafuselabs/databend/blob/2aec38605eebb7f0e1717f7f54ec52ae0f2e530b/src/query/codegen/src/writes/register.rs) 生成的。以实现 `select 1+2` 的加法函数为例子,`+` 被转换为 Plus,而函数名需要小写,因此我们在注册时函数名使用 `plus`。

Databend的博客 503

AI智能体丨使用Coze一键生成中式养生视频,39 条作品涨粉 37.9 万!(附保姆级教程)

本文介绍如何利用扣子(Coze)AI智能体工作流高效制作中式养生短视频。该方案通过AI自动生成养生文案、古风插画素材、语音合成和视频剪辑,将传统制作流程从2-3小时缩短至1-2分钟。工作流包含文案创作、音频生成、图片素材制作和视频合成四大模块,采用大模型处理各环节内容,最终输出可直接导入剪映的草稿文件。特别适合希望快速批量制作文化氛围感强、兼具干货与视觉效果的养生内容创作者,效率提升近百倍。

李同学Lino的博客 3031

无线通信技术及其在机器人中的应用

本文系统阐述了无线通信技术在机器人领域的应用框架与技术选型。首先构建了无线通信的三层理论架构:物理层解决信号传输问题,链路层处理接入控制,网络层实现组网管理。随后详细分析了主流无线技术的特性与适用场景:BLE适用于低功耗传感器节点,Wi-Fi适合高带宽视频传输,5G专网满足工业AGV的广域覆盖需求,星闪技术凭借20μs超低时延和4096台并发连接能力,为高端机器人应用提供突破性解决方案。通过鄂尔多斯隆基5G专网等典型案例,验证了5G在工业AGV规模化部署中的优势,并展望了通感算智融合、星闪+5G协同等未来发

weiyvyy的博客 1117

DBeaver 26.2.1 更新解读:1383 个文件变更,AI 子系统成主线,新增 2 个数据库驱动

从 26.1.1 到 26.2.1,DBeaver 累计 359 个 commit,触及 1383 个文件,+48,486 / -59,438 行。AI 子系统(AI 会话、引擎管理、Agent 指令)是体量最大的变更块;GreptimeDB 与 Timeplus 两个新数据库驱动接入,SQL 解析层新增 LSM / LSP 等 5 个 model 层模块。 [![DBeaver 独立版启动画面

gitblog_00339的博客 502

【WRF-Urban】URBPARM_LCZ.TBL 查找表解释及内容

URBPARM_LCZ.TBL 查找表解释及内容

WW、forever的博客 1754

DBeaver 26.2.1 重大更新指南:102 个提交升级 AI 聊天、安全加固与驱动兼容性

DBeaver 是一款免费开源的跨平台通用数据库工具和 SQL 客户端,支持 100 多种数据库驱动,基于 Eclipse RCP 插件架构构建。本轮 26.2.1 是一次混合新功能、重构与安全修复的架构级更新,主线是 AI 助手子系统的重组,副线是导出安全加固、数据传输改进与多数据库驱动兼容修复。本文按模块拆解仓库最新 102 个提交的变更脉络,并给出新手的阅读路径与本地构建命令。 ## 版本

gitblog_00911的博客 534

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

001:一个快速、可嵌入、模块化的分析查询引擎

通过插件开发,我们能够极大地释放Typora的潜力,使其从一个优秀的Markdown编辑器进化为一个高度定制化的“写作操作系统”。回顾核心要点:从环境搭建、API学习到实战开发与性能优化。未来可能性:AI辅助写作集成、云同步插件、多人在线协作编辑等。行动号召:鼓励读者从一个小需求开始,动手开发自己的第一个Typora插件,共同丰富Markdown写作的工具生态。

344

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

使用 聚合函数(aggregate function)时,SQL语句的返回值的注意事项

假设有如下一条SQL语句SELECT AVG(xuo.`attach_succ_rate`) AS `attach_succ_rate` FROM `xdr_user_oriented` AS `xuo` WHERE xuo.`id` < -1 其中 xuo.`id` < -1 这个条件,正常情况下,肯定是不会满足的(没有哪个数据库的 id 是比 0 小的)。 所以,我

rainbow702的博客 9781

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

elasticSearch常见问题答疑

1.ES不是什么 ES不是可靠的存储系统,不是数据库,它有丢数据的风险。具体请参考ES内部分享中的ES简介这个文档 2.为什么一条数据写入后马上查询查不到? ES不是实时系统,数据写入成功只是trans log成功(类似于mysql的bin log),写入成功后立刻查询查不到是正常的。因为数据此刻可能还在内存里而不是进入存储引擎里。 同理,删除一条数据后也不是马上消失 写入何时可查询?ES内部有一...

lauyiran的博客 3万+

CheckStyle报错的常见问题及解决方式

CheckStyle报错的常见问题及解决方式

5万+

副队长BootStrap5探究(2)--按钮与按钮组

本文系统讲解Bootstrap 5按钮组件的使用与底层原理。通过CDN引入框架,掌握btn基础类及primary、success等主题色应用,学习轮廓按钮(btn-outline-*)、尺寸控制(btn-lg/sm)、块级布局(d-block)和禁用状态(disabled)等实用功能。结合源码解析,深入理解其基于CSS的圆角、过渡动画、伪类交互实现机制,实现“快速上手+原理掌握”的双重目标,助力前端技能进阶。

编程副队长 711

汽车租赁系统(协同过滤算法、支付宝沙盒支付、 腾讯地图接入、WebSocket在线沟通、ECharts运营分析、三角色协同、还车费用处理)

本系统基于B/S架构,采用前后端分离设计,集成SpringBoot3、Vue2、MySQL等技术,实现用户、商家、管理员三角色协同管理。亮点包括:车型加权推荐与话题协同过滤算法提升个性化体验;支付宝沙盒支付、腾讯地图定位、WebSocket在线沟通保障流程闭环;还车费用智能计算与ECharts多维数据可视化助力运营分析,全面支持租车全生命周期管理。

paopaokaka_luck的博客 173

设计模式(unity游戏研发版)

当你使用图形用户界面类时通常会遇到一个问题。比如,你创建了自定义按钮类并允许客户端在按钮中注入自定义代码,这样当用户按下按钮时就会触发这些代码。观察者模式允许任何实现了订阅者接口的对象订阅发布者对象的事件通知。你可在按钮中添加订阅机制,允许客户端通过自定义订阅类注入自定义代码。在Unity中,这就像UnityEvent在Inspector中绑定多个回调。

m0_63330263的博客 142

实战项目:哈米音乐(前六章)

本文整理哈米音乐实战项目前六章核心知识点,涵盖技术选型、数据库建模、Maven聚合工程、MyBatis逆向工程、SSM架构整合、泛型反射抽取公共Dao与Service、文件流代码生成器,附核心易错点速查表,便于复习备考。

既然你都点开这里了,那可以给我点个关注吗?可以吗?可以吗? 306

副队长BootStrap5探究(11)--单选框 radio

本文详解Bootstrap 5中单选框(radio)的使用与底层实现原理。通过引入Bootstrap CSS,掌握基础用法、默认选中、禁用状态及横向排列等特性。核心在于隐藏原生input,利用~兄弟选择器配合伪元素::before和::after绘制圆形外圈与实心圆点,实现统一视觉风格。重点解析了position、z-index、opacity及:checked状态控制等CSS技巧,巩固前端样式设计能力。

编程副队长 302

最新大数据毕业设计选题推荐-基于大数据的快餐营养摄入与运动消耗关联性分析与可视化-大数据-Spark-Hadoop-Bigdata

本文介绍《基于大数据的快餐营养摄入与运动消耗关联性分析与可视化》系统,采用Hadoop+Spark框架实现数据存储与计算,结合Python+Django与Java+Spring Boot双后端,通过MySQL存储数据,前端使用Vue+ElementUI+Echarts完成可视化。系统涵盖营养摄入、消费画像、运动消耗等分析功能,实现快餐订单数据与运动消耗的关联分析,为计算机专业毕业设计提供技术完整、可落地的大数据项目参考。文末可获取源码。

IT研究室的博客 291

png去水印-纯前端技术

(修复算法)、(交互与渲染)、(构建)。仅依赖vue),图片不上传服务器,全部计算在浏览器内用 CanvasImageData完成。

琼楼玉宇 333
上一篇: 给 Databend 添加 Scalar 函数 | 函数开发系例一
下一篇: Tapdata 和 Databend 数仓数据同步实战
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值