Databend 源码性能调优实践-实践篇 1

开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例_databend功能 Databend 是一个开源、云原生且实时分析型的现代数据仓库,旨在提供高效的数据存储和处理能力。它采用 Rust 语言开发,并支持 Apache Arrow 格式以实现高性能列式存储与查询处理。主要特点:云原生设计:Databend 构建在 Kubernetes 之上,具备弹性伸缩、水平扩展的能力,可轻松部署在公有云或私有云环境中。SQL 支持:Databend 具备完善的 SQL 查询功能,兼容 MySQL 协议,使得用户可以利用熟悉的 SQL 语法进行数据查询和处理。性能优化。 阅读详情

在这里主要向大家做一个 Databend 性能调优相关的分享,共会分为三次向大家介绍,如下所示:

1、基础篇:代码调优的前置知识(https://mp.weixin.qq.com/s/WTCL6w9ur6DyIBUWt1TvQA ) 2、实践篇1:Databend 源码性能调优实践 3、实践篇2:Databend 的 Group By 聚合查询为什么跑的这么快?

Databend 是基于 Rust 语言开发面向云原生设计的数据仓库。Rust 是近几年比较火的系统编程语言,它具有零额外开销的抽象成本,并且有贴近 C++ 的运行性能。

但这并不意味着使用 Rust 实现的代码一定比使用 Python 实现的开发要快,在没有理解本质的情况下,Rust 依然能写出低效率的代码,这其实取决于编程人员的水平,只是 Rust 让我们更容易写出高效的代码。

下面将根据多个例子,来讲讲编程中常见的一些优化点,这些优化点多以 Rust 实现为例,但其原理可以运用在其他语言中。

本系列课程的视频回放,可以点击 https://www.bilibili.com/video/BV1zM4y1c7aW?spm_id_from=333.999.0.0 查看。

inline vs no inline

在 Rust 中,有三个 hint 去做代码的内联,如下所示:

#[inline],
#[inline(never)],
#[inline(always)]

在写代码时,我们也尽量告诉编译器我们所期望采用的方式。

内联有以下优点:

a.内联作为一种优化转换,它可以取代对函数的调用,节省代码的开销。

缺点

a. 代码二进制体积变大,使得编译时间更糟。

b. 泛型函数可能会导致内联代码膨胀.

注:

a.对于私有函数可能不需要内联,因为 LLVM 具有启发式内联。

b.私有函数具有隐式内联。

Case 1

下图所示代码展示了两段函数 default_crc32() 和 inlined_crc32(),这两段代码所实现的功能为做一个 crc32 的哈希,在 default_crc32() 是直接调用一个 crc32 fast 的哈希库,算出哈希值后,对数组进行一次遍历,得到其加总的结果;而在 inlined_crc32() 中,在 new() 函数、update() 函数加入了 inline。他们的运行时间如下:

default_crc32 time: [16.184 ms 16.196 ms 16.209 ms]

inlined_crc32 time: [1.6317 ms 1.6353 ms 1.6396 ms]

从数据中,我们可以明显的看出使用内联后性能有接近 10 倍的改善。 file

Case 2

在前面一个例子中,大家可以感受到内联对代码性能带来的提升。而不恰当的使用,同时也会让性能更差。但内联不是银弹,下面这段代码是使用了 inline(never)这段代码。当我们不使用这个 hint 时候,我们的整个函数会被编译器优化成 inline 的,进一步会导致 aggregate 里面的子函数就不会被 inline 了,但我们的程序执行耗时大多在子函数中,因为子函数中使用了 loop 循环执行 CPU 密集型操作。所以我们需要显式地告诉编译器不要 inline 外层函数,来达到 10% 左右的性能提升。 file

No extra allocation/copy

在写代码时候,可能会存在着一些额外的分配及拷贝。我们可以通过对其进行优化,也能提升我们代码的性能。

Case 3

select sum(number) from numbers_mt(10000000000)

再来看第三个例子,这个例子源于 Databend 开发初期,当我们生成 numbers 表时求一个到10000000000的加总值。在这个代码中通过生成一个 Vec 的数组,我们将其转换成 Arrow 格式时,我们调用了 UInt64 Array::from() 这个函数,虽然我们将 data move 进去了,但这个函数内部还是调用了内存拷贝,通过 perf 工具可以看到 SQL 执行的开销多在内存拷贝中。

我们优化的方式是去掉多余的内存拷贝,使用了 unsafe 去生成 Arrydata,然后生成 Arrow 格式的 Array,最后让整体性能提升了 2-3 倍。

file file

Case 4.1

cast(number as Varchar) 这个例子是将一个 NumberArray 转换成 StringArray。在左边的代码中,逻辑是遍历 NumberArray 将每行的数值转换为字符串,然后返回一个迭代器,迭代器再去生成StringArray。但这段代码产生了非常多的额外开销,由于他遍历到每一个元素时,都会产生一个局部的 Vec ,这里的 Vec 是非常离散的,并且使用一次后就会被丢弃,在这里就会产生大量的小内存分配和回收,进而导致性能变差。

在第一个版本的优化中,我们在生成了一个局部的 buffer,在数值转为 string 的过程中,我们把序列化写入到这个 buffer 中,再通过 builder 去把数据 push 进 arrow 的内存格式中。这使得其性能提升至两倍,但这个 case 并没有被优化到极致。 file file

Case 4.2

经过 Case 4.1 的优化,我们继续对其优化。因为在上述 Case 中我们用到了一个 buffer,但其实我们可以直接移除 buffer。这里我们用一个闭包函数,在数值转 String 的过程中,直接往 arrow 的内存模型中进行写入,无需额外的内存分配和拷贝,对比前一个版本,可以再提升两倍左右的性能。 file file file

Case 5

Databend 在开发的过程中,也会有一些些早期的代码写的不够好,比如我们在收集内存分配的时候,我们个 MemoryTracker 变量存储在 thread_local 中,去获取 runtime_tracker 的时候,左边的代码多了一个 Arc 的 clone,右边的代码是返回的引用,虽然clone 本身开销并不是很大,但是在 SQL 执行过程中,我们会临时地去分配很多小的内存,所以每一次分配的都会去调用这个 get 方法,就会大大降低其性能。 file

另外,我们还做了一次优化是,并不是每次内存分配都会去实时反馈到全局统计变量中,因为多线程去更新全局变量需要同步操作,所以我们这里做了统计值的线程内部缓冲更新,避免小内存分配统计影响性能。 file

Less extra function call

Case 6

下面的例子是 Arrow 中的一个排序函数,例如在 SQL:

排序的列是 a,但其余的列也要跟着 a 的顺序走,arrow 的执行流程是先将索引按照 a 进行排序,下面的例子就是索引排序的过程,排序我们需要按照 a 列在不同 index 中的值进行比较,然后根据结果决定是否交换 index。

左边的实现是闭包捕获了array,但我们根据 index 那对应的值需要调用 array.values().as_slice().get_unchecked(), 这里有 3 次函数调用,如果 array 的长度很长,这个调用开销的放大是非常可观的。我们的优化过程也非常简单,我们把 values 先引用到一个变量中,之后闭包就会直接去捕获 values。这个优化大约可以达到 25% 的性能提升。 file file

Less branch prediction miss

大家应该都熟悉分支预测可以利用 CPU 乱序执行来提升性能。但是分支预测失败了,返回会大大影响性能性能 。请大家来看以下的几个例子。

Case 7

下面的例子是在一个循环中,每次循环都会调用 unwrap 函数,这个 unwrap 函数在 Rust 其实就是一次 if else 封装,因此这里会有分支预测的开销。分支预测通常来说是有缓存的,但在这个函数中,分支预测的缓存似乎工作的不太友好。

对他优化的方式是迭代器生成封装到一个方法中,从而去除多余的分支预测。 file file

Case 8

这个例子是 abs 函数的实现。在这里我们是去对 int8 这个函数进行一次遍历并求绝对值,map 判断了 null 的情况,如果原始值是 null,结果依然需要为 null。Arrow 的内存模型是有两个 array 的,它的第一个 array 是一个 int8 的数组,第二个 array 是一个 bitmap。我们的优化方式是先忽略 null,直接遍历 int8 数组,进行 abs 的 transform,然后将输入的 bitmap 进行 clone 给结果数组,从而去除了分支预测。由于类似函数会很多,所以我们封装了多个 apply 函数进行数组到数组的转换。 file

Case 9

这里来自 ClickHouse 的一个例子。

SQL:

这个 SQL 通常会有 2 个分支预测,一个判断 number > 3,第二个判断 number 是否有 null 值。在向量化 sum 中,我们用一些位操作来优化分支开销。 file

SIMD SIMD 指的是单指令多数据执行。接下来我们会讲到两个关于 simd 的例子。

Case 10:simd sum

在我们的列数据库中,非常常用的就是向量化执行。首先,我们先来看第一段代码,做的是对 double 数组的一次求和。理想化的情况的是,我们的 CPU 执行的如果最佳流水线,ADD 执行的次数是 N 次。

现代的 CPU 中通常有一些特殊的优化指令集,比如 SSE,AVX,通过这些指令对数据进行批量的求和,这样可以让整体性能提升至 4 倍左右。 file file file

AVXAdd 的函数实现看起来比较丑陋,通常来说我们不需要显示的使用 AVXAdd,因为现代的编译器已经足够智能优化上面的代码成 AVXAdd 方式执行了,比如 GCC 的自动向量化。

Case 11: null sum in arrow2

求和运算中,我们通常要忽略 null 值,这样可能会破坏自动向量化的优化,因为 null 值是 runtime 才能感知的。Rust有一些向量化的 crate 非常有用,比如说 Arrow2 中使用了packed_simd2, Rust 也即将迎来标准的 simd 库。下面的例子是对含有 null 值得数组求和向量化代码。 file

整体的原理是将数据按 chunk 分桶在一个 simd 位宽中,然后运用向量化的 select 将非 null 的值抽出到一个新的 selected 中求和。

自动向量化

通常来说,我们不会主动编写向量化的代码,而是让循环中的逻辑尽量简单 (不引入分支),编译器往往能给我们优化出高效的代码,比如在 not nullable 的 array 中进行求和,自动向量化的代码反而比手动向量化的代码更加高效。 file file

通过以上的 11 个例子,希望你已经对代码调优有了更深入的了解,在下一次的分享中我们将介绍 Databend 的 group by 查询为什么能跑的这么快。

想要了解更多资讯,欢迎关注公众号:Databend

如果想了解更多,可以关注公众号: Databend

Databend 的安装配置和使用 了解新型数据库,介绍 Databend 的安装配置和使用。 阅读详情

相关推荐

candence layout快捷键

摁住鼠标左键再框选:选中 摁住鼠标右键再框选:放大 选中之后,滚动鼠标滚轮进行放大缩小。 F:回到全局 shift+V:缩小 键盘的箭头:移动视图 F1:显示帮助文档Candence help F2:保存 点击r,画出矩形时不双击鼠标,点击F3,可以设置尺寸。 Creat-Shape-Path Creat-Wiring-Bus:画多根线。F3设置线宽、间距等。 选中金属后,Shift+G画保护环guard ring。F3可以设置距离金属的间距、保护环的形状。 Path和Rectang

weixin_45861827的博客 2658

Databend 的 Group By 聚合查询为什么跑的这么快?-实践篇 2

在这里主要向大家做一个 Databend 性能调优相关的分享,共会分为三次向大家介绍,如下所示: 1、基础篇:代码调优的前置知识(https://mp.weixin.qq.com/s/WTCL6w9ur6DyIBUWt1TvQA ) 2、实践篇1:Databend 源码性能调优实践(https://mp.weixin.qq.com/s/hDD45vrD6PQJk3uDYQm5jA ) 3、实践篇2:Databend 的 Group By 聚合查询为什么跑的这么快? 背景 SELECT max(number

Databend的博客 347

新手避坑指南:用COMSOL Multiphysics仿真气体放电(汤逊vs.流注)

本文详细介绍了使用COMSOL Multiphysics仿真气体放电的实战指南,涵盖汤逊理论和流注模型的实现方法。通过对比两种放电模型的关键参数和物理场配置,帮助新手避免常见错误,准确预测气体击穿过程。文章还提供了工程应用案例,如高压绝缘子设计优化,展示了仿真技术在电力设备绝缘设计中的实际价值。

weixin_28716181的博客 479

Databend 设计概述 | 白皮书

Databend 是一个开源的、完全面向云架构的新式数仓,它提供快速的弹性扩展能力,并结合云的弹性、简单性和低成本,使 Data Cloud 构建变得更加容易。 Databend 把数据存储在像 AWS S3 ,Azure Blob 这些云上的存储系统,可以使不同的计算节点挂载同一份数据,从而做到较高的弹性,实现对资源的精细化控制。 Databend 在设计上专注以下能力: 弹性 在 Databend 中,存储和计算资源可以按需、按量弹性扩展。 安全 Databend 中数据文件和网络传输都是端到端加密,

Databend的博客 1189

统信UOS安装CH384串口卡驱动

本文讲解如何在统信UOS系统下安装CH384 PCIE多串口驱动安装过程,CPU为飞腾D2000。其他Linux内核系统安装亦可参照类似方法。

shjhuang的专栏 1888

Zipformer实战:5分钟快速搭建语音识别模型(附LibriSpeech测试结果)

本文提供了一份详细的Zipformer语音识别模型实战指南。通过清晰的步骤,指导读者在5分钟内完成从环境配置、LibriSpeech数据集准备到模型训练与测试的全过程。文章重点解析了关键配置参数,并分享了在LibriSpeech测试集上的性能结果,帮助开发者快速评估和应用这一高效的语音识别架构。

weixin_35578748的博客 165

Databend:下一代云数据仓库解决方案

Databend是一个用Rust语言开发的开源云数据仓库,旨在为大规模数据分析提供高性能、低成本的解决方案。作为Snowflake的替代品,Databend专注于快速查询执行和数据摄取,适用于复杂的大规模数据集分析。云原生架构: 与AWS S3、Azure Blob、Google Cloud等云存储服务无缝集成高性能: 基于Rust构建,采用先进的向量化执行技术成本效益: 设计用于可扩展的存储和计算,在提高性能的同时降低成本AI驱动分析: 通过AI函数支持高级分析数据简化。

2401_87458778的博客 1770

算法设计与分析 0-1背包问题 动态规划解法【超详细】

0-1背包问题 问题描述 给定i个物品和一个容量为的背包,物品的重量是Wi,其价值为Vi 物品个数为i,背包容量为C。 如何选择装入背包内的物品,使得装入背包中的物品的总价值最大? 其中,每种物品只有全部装入背包或不装入背包两种选择。 物品不能分割,不能重复使用。 动态规划算法思路 首先建立一个数组B[i][c],最上面一行表示背包容量,最左边一列表示物品编号,中间填充的数值表示当当前背包容量为C...

寒泉 4万+

Databend 性能调优-基础篇

在软件基础设施领域,人们开始越来越重视代码的性能优化,在满足其可实现功能完整的同时,若可逐步去优化代码,则能在相同硬件条件下达到更好的工作效率,进一步提高业务生产效率。尤其是大数据领域,比如 OLAP 数据库通常服务于海量数据即席查询分析的场景,一些看似不起眼的底层调优却能在数据量级上进行优化叠加,从而达到优化系统整体分析查询的性能目的,可谓星星之火可以燎原。 在这里主要向大家做一个 Databend 性能调优相关的分享,共会分为三次向大家介绍,如下所示: 1、基础篇:代码调优的前置知识 2、实践篇1:Da

Databend的博客 396

效果炸裂_安装midscene_copw基于midscene操作电脑_基于视觉的软件测试执行_MIDSCENE的安装和使用---AI大模型应用探索0012

摘要:本文介绍了如何通过安装MidSceneJS来增强Copaw的屏幕操作能力。首先需要安装Node.js和npm,并配置淘宝镜像源加速安装。然后全局安装MidScene CLI工具(npm install @midscene/cli -g)。接着配置视觉大模型服务,通过设置环境变量指定模型API密钥、名称、基础URL和家族类型(如qwen3.5-27b),配置文件需存放在C:\Users\Administrator.copaw目录。安装成功后,MidScene已能成功识别并操作屏幕,使用效果良好。文中还提

添柴程序猿的专栏 645

Sigrity Power DC Package Multi-Resistor Compact ET Model Extraction模式提取封装基板电热阻模型

DIE(定义DIE的参数):material设置为silicon(硅),Attach material(贴片的材料,设置为Die Attach),Attach thickness(贴片的材料的厚度,厚度设置为0.001mm,点击ok。Cap为覆盖材料,Material定义材料类型,thickness定义厚度,length和width定义长宽,Adhesive Material为胶的材料,Adhesive Material为胶的厚度,本例不定义,跳过即可。

weixin_54787054的博客 440

Databend 源码阅读系列(一): 开篇

Databend 在 2021 年开源后,陆续受到了很多社区同学的关注。Databend 使用了 Rust 编程语言。为了吸引更多的开发者,特别是没有 Rust 开发经验的新同志,我们设计了 Rust 相关课程,同时建立了多个 Rust 兴趣小组。Databend 在 issue 中还引入了“Good First issue”的 label 来引导社区新同学参与第一次贡献,目共有超过一百多位 contributors,算是一个不错的成果。...

Databend的博客 390

【网络与爬虫 44】Canvas指纹伪造技术:突破浏览器图形渲染检测的终极指南

Canvas和WebGL指纹是现代反爬虫系统中最难绕过的检测技术之一,它们通过分析浏览器图形渲染的细微差异来识别用户设备。本文将深入解析Canvas和WebGL指纹的工作原理,探讨其在反爬虫检测中的应用,并提供多种有效的伪造和绕过策略,帮助开发者理解并应对这些高级检测技术。

熵数实验室 1210

DataX DatabendWriter 插件实战指南:从流式 Reader 批量写入 Databend

> **导读**:本文以 [databendwriter/doc/databendwriter-CN.md](https://link.gitcode.com/i/fb23e2cfb1df0c99a6bada7ebd59bdc8) 为主体,系统讲解 DataX 生态中 DatabendWriter 插件的使用方式:它负责把 DataX Reader 产生的记录批量写入开源 Databend 或 D

gitblog_02490的博客 344

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

传统大数据 Hadoop 和 云原生湖仓 Databend 对比

随着数据需求的不断增加,大数据架构的演变成为了现代数据工程师的重要课题。本文将对比传统大数据架构与新一代云原生湖仓 Databend,通过对比它们在实时与离线架构中的区别,感受 Databend 的优势。

Databend的博客 1713

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

基于 MinIO 部署单实例 Databend | 新手篇(1)

Databend 下载建议可以从 Databend 的开源项目的 repo 里下载,每天都会有一个对应的 release , 具体的地址:https://github.com/datafuselabs/databend/tags。Databend 是一个开源的云原生数仓,为了更好的适用于云环境,Databend 从架构上分为三层:MetaService 层,Query 层,存储层。这是 Databend 司令部,存储:权限定义,表结构定义,事务管理,表和数据的关联以及数据共享的整体逻辑。

Databend的博客 746

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Databend Meta-Service 架构概述

Databend 的 meta-service 采用基于 Raft 的分布式架构,实现了高可用性和数据一致性。其核心组件包括分布式日志和状态机,通过精心设计的写入和读取流程,确保了数据操作的可靠性。使用 Raft 日志中的时间戳来提供一致的时钟,解决了分布式系统中的时间同步问题。支持灵活的节点管理和数据更新操作,包括单条数据更新(upsert)和多条数据更新(transaction)。采用全局序列号机制,为实现可靠的比较并交换(CAS)操作提供了基础。

Databend的博客 1646

使用 SeaTunnel 建立从 MySQL 到 Databend 的数据同步管道

是一个非常易用、超高性能的分布式数据集成平台,支持实时海量数据同步。每天可稳定高效地同步数百亿数据,已被近百家企业应用于生产,在国内较为普及。是一款开源、弹性、低成本,基于对象存储也可以做实时分析的云原生湖仓。

Databend的博客 1101

AskTable 集成 Databend:结构化数据的 AI 查询新体验

AskTable 在单表结构化查询生成上的准确率非常高;AskTable 支持基于 RAG(Retrieval-Augmented Generation)方式的提示,在大模型功能强大的支撑下,能够实现较为完善的自助查询能力;在单表模式下,AskTable 对 github_events 每个字段的提示均准确,生成的 SQL 也较为精确,令人感叹大模型的强大。AskTable 的最佳使用方式是在平台内部嵌入会话窗口使用,让平台快速具备 AI 分析数据的能力。

Databend的博客 1140

Databend 测试区实战指南:读懂 tests/ 目录结构与测试治理规范

Databend 是一个为分析、搜索、AI 与 Python Sandbox 场景设计的 Data Agent Ready Warehouse,其正确性保障高度依赖仓库根目录下 `tests/` 中分层清晰的测试体系。本文以 [tests/AGENTS.md](https://link.gitcode.com/i/ff75dd3818cb418d76401f3723bc16c2) 这份测试区导航文

gitblog_00596的博客 376

Databend x CubeFS:面向未来的企业级云原生数据存储与分析

用场景的丰富,企业面临着前所未有的数据存储挑战。大规模数据存储变得日常化,伴随着超大容量和快速变化的I/O需求,传统的存储解决方案已经难以满足企业对弹性、运维效率及总体拥有成本(TCO)的更高要求。这些挑战促使基于分布式架构的软件定义存储(SDS)技术应运而生,并逐渐走向成熟。即便有了基于分布式架构的软件定义存储服务,但是在构建查询系统时,传统的数据仓库往往采用 Share-Nothing 架构,这种存算一体的设计在某些场景下虽然高效,但它的弹性相对较弱。

Databend的博客 1706

成本降低 90%,出海社交平台 Typing 基于 Databend 的大数据探

Typing(输入中科技)成立于 2022 年,是一家主要面向东南亚、拉美、中东等海外地区提供社交平台的出海企业。其社交平台类似于国内的 Soul、陌陌等,提供视频直播、语音聊天室、短视频、生活分享、文字聊天等社交功能,注册用户超百万,日活用户数十万。人们可以在平台内认识有趣的人,结交新朋友,还可以建立自己的社交社区。

Databend的博客 577

探索Rust语言在大数据领域的魅力:Rust-in-Databend项目简介

探索Rust语言在大数据领域的魅力:Rust-in-Databend项目简介 去发现同类优质开源项目:https://gitcode.com/ 在这个快速发展的技术世界中,高性能、安全的编程语言日益受到重视。Rust-in-Databend 是一个由 Datafuse Labs 和 Rust 语言中文社区 共同发起,知数堂 协办的开源学习项目,旨在帮助开发者通过实践 Databend —— 一款新...

gitblog_00082的博客 771

Vector v0.29.0 全解析:三大新 Sink(AppSignal/Databend/WebHDFS)、CSV 编码与升级指南

> 本文以 Vector 仓库内 v0.29.0 的官方发布说明([发布数据源](https://link.gitcode.com/i/5baf80a8f8c180329df43c36248f9634))与[0.29 升级指南](https://link.gitcode.com/i/2c21f2656ba93d9c1cbb65de645059c3)为主体骨架,结合仓库源码逐项展开讲解。读者可通过本

gitblog_00335的博客 62

Databend 二进制程序详解:databend-query 与 table-meta-inspector 的构建、命令与启动原理

`src/binaries` 是 Databend 仓库中集中存放所有可执行二进制入口的 crate。本文围绕 [src/binaries/README.md](https://link.gitcode.com/i/b86e34c4b6c6600fa0048624f3c5af24) 展开,逐一说明 `databend-query`(查询服务二进制,含 OSS 与 Enterprise 两个变体)和

gitblog_00060的博客 351

Jev深度集成Databend:SQL原生调用Python UDF实战指南

SQL增强函数是现代数据湖仓的关键能力,它通过在查询层融合编程逻辑,突破传统SQL的表达边界。其核心原理在于执行计划重写与UDF沙箱化调度,技术价值体现在降低计算链路复杂度、消除跨系统数据搬运、提升特征工程迭代效率。典型应用场景包括实时用户分群、动态条件聚合、轻量级模型推理等,尤其适用于Databend、ClickHouse等向量化引擎。本文聚焦Jev这一深度嵌入SQL解析器的Python UDF框架,详解其如何通过AST编译、Arrow零拷贝序列化及Rust-Python ABI协同,实现Python生态

weixin_29052717的博客 344
上一篇: This week in Databend #22
下一篇: 公开课: 如何优雅的处理错误 | Vol. 28
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值