Databend 开源周报第 109 期

TPU 缓存搬移开源,推理成本结构被重画|2026年11月15日 谷歌云把 TPU 上最耗时的搬运环节,做成了一个可以单独调用的库。这个库叫 TPU Sync,用 C++ 编写[① MarkTechPost]。它的做法是把云 TPU 的显存、主机内存、共享存储与数据中心网络,统一当成一个内存层级来看。对技术读者来说,价值不在性能数字,在它把推理服务的成本结构摆到了台面上。今天还有四组技术信号可以对照着看,它们分别落在运行时、权重、权限与安全四个层面。四组之间有一条线,都把控制对象往资源与权限上推。 阅读详情

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

利用 Cluster Key 优化查询性能

通过定义 Cluster Key ,可以引导 Databend 对表进行聚类来提高查询性能,此时数据将会根据 Cluster Key 来组织和分组,而不仅仅依赖数据摄入的顺序。从而在处于大型表中获得优化的数据读取逻辑,加速查询。

一旦表设定了 Cluster Key ,在使用 COPY INTO 和REPLACE INTO 这两种方式写入数据时,会自动执行 compact 和 recluster 操作。

由于执行聚类和重聚类操作需要消耗一定的时间,所以我们建议主要为查询性能较慢的大型表定义集群键。

如果您想了解更多信息,请查看下面列出的资源。

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

Databend Local 模式

Databend 的 local 模式旨在为 Databend 提供一个简易版本,用户无需部署 Databend 服务就可以用 SQL 进行交互交互,从而方便开发者们用 SQL 使用 Databend 支持的功能进行简单的数据处理。

Local 模式 将启动一个临时的 databend-query 进程,并且提供客户端和服务端的融合支持。其存储位于临时目录中,生命周期跟随进程,进程离开后资源也将销毁,你可以在一个服务器中启动多个 local 进程,他们的资源是相互隔离的。

❯ alias databend-local="databend-query local"
❯ echo " select sum(a) from range(1, 100000) as t(a)" | databend-local
4999950000

❯ databend-local

databend-local:) select number %3 n, number %4 m, sum(number) from numbers(1000000000) group by n,m limit 3 ;

┌───────────────────────────────────┐
│   n   │   m   │    sum(number)    │
│ UInt8 │ UInt8 │    UInt64 NULL    │
├───────┼───────┼───────────────────┤
│     0 │     0 │ 41666666833333332 │
│     1 │     0 │ 41666666166666668 │
│     2 │     0 │ 41666666500000000 │
└───────────────────────────────────┘
0 row result in 1.669 sec. Processed 1 billion rows, 953.67 MiB (599.02 million rows/s, 4.46 GiB/s)

如果你需要在生产环境使用 Databend,我们建议按官方文档部署 Databend 服务或使用 Databend Cloud,但如果你是开发人员或测试工程师,则可以使用 local 模式来体验 Databend 。

如果您想了解更多信息,请查看下面列出的资源。

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 初步支持 MERGE INTO。
  • 实现 SQLsmith 测试框架,以支持更精确的模糊测试。
  • 阅读文档 Docs | Setting Environment Variables 了解如何通过环境变量变更 Databend 配置。
  • 实现json_strip_nulls 和 json_typeof 函数,你也可以阅读 Docs | Semi-Structured Functions 了解 Databend 为半结构化数据处理设计和实现的函数。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

优化 MERGE INTO 实现

在 PR #12350 | feat: support Merge-Into V1 中,Databend 初步支持了 MERGE INTO 语法。

在这个基础上,还有很多值得关注的优化可以实施,比如:提供并行和分布式的实现,减少 IO 并简化数据块拆分等。

Issue #12595 | Feature: Merge Into Optimizations 

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。 

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

在 Linux/Debian/Ubuntu 上使用 Brasero 刻录光盘 在 Ubuntu 系统中,Brasero 是一个非常方便的光盘刻录工具。无论是创建数据光盘、音频光盘还是刻录光盘镜像文件,Brasero 都能轻松胜任。本文将介绍如何在 Ubuntu 上安装和使用 Brasero 进行光盘刻录。 阅读详情

相关推荐

gmsv源代码c语言,石器时代ABLua的原理、简介、过程、运用、收发

操作原理(一)服务端:服务器源文件客户端:客户所操作的程序(既是游戏客户端)接口:既是某项功能(例如:鼠标点击,文字发送,战斗,观战,人物动作等)返回的值ABlua:在源代码中添加的整套引擎作为回调接口--lua所实现的功能是基于服务端源码添加的接口由该接口与客户端发送封包实现功能源码里是否有ABlua回调接口?例如:源码里的gmsv/battle.c文件(既是战斗回调文件)以下为简单描述C给予l...

weixin_35223575的博客 2414

突破 2048×2048 限制:开源豆包无水印下载插件深度解析

本文剖析了当前主流开源工具如何绕过豆包AI生成图片的水印限制,通过API逆向解析、网络请求劫持与页面元素重叠等技术,实现2048×2048高清无水印原图一键下载。重点推荐doubao-nomark等活跃项目,强调其支持图片视频批量下载、本地部署安全可控。同时提醒用户:工具依赖平台接口稳定性,存在失效风险,且仅限个人使用,商业用途需授权。建议优先自托管以保障隐私安全。

下载资源或查看教程前,请务必阅读置顶的《免责声明》 446

STM32 LWIP服务器内存泄漏排查实录:从20个客户端连接测试到稳定运行的优化之路

本文详细记录了STM32 LWIP服务器在20个TCP客户端连接压力测试中出现的内存泄漏问题排查与优化过程。通过压力测试环境搭建、内存泄漏检测工具使用、常见泄漏点分析与修复,最终实现了稳定支持多客户端连接的优化方案,包括连接数动态限制、心跳检测机制和内存泄漏自检机制等关键优化措施。

weixin_42530458的博客 387

python开源好项目

优先看 cszmzh/taobao-data-analyze:它的 SpringBoot + Vue 架构与你最契合,可以帮你快速理解如何将 Python 的分析结果嵌入到你熟悉的全栈体系中。值得一看的点:它的 advisor.py 模块实现了具体的调价规则,比如“竞品价 < 本店售价 × 0.90 时建议降价”,你可以直接参考或修改这些业务逻辑。分析内容:使用百万级的淘宝用户行为数据集,进行 AARRR 模型分析、RFM 分析以及各个环节转化流失分析,正好对应了你提到的“看看用户在哪个环节流失了”。

在技术领域里形成深刻,全面的认识,知道来龙去脉,深入浅出的讲到实用点。 338

SkyWalking跨线程Trace传递实战:手把手教你用RunnableWrapper解决异步链路中断问题

本文深入解析了SkyWalking在异步编程场景下链路追踪中断的根源,并提供了使用RunnableWrapper等官方包装类的实战解决方案。通过详细的原理解析和代码示例,手把手指导开发者如何实现跨线程的Trace传递,确保分布式系统监控链路的完整性,有效解决异步任务导致的链路中断问题。

sand8的博客 496

华三R4900 G5服务器实战:用PMC P460-B4阵列卡配置RAID1+RAID6,并搞定CentOS 7.9安装(含热备盘设置)

本文详细解析了在华三R4900 G5服务器上使用PMC P460-B4阵列卡配置RAID1+RAID6混合阵列的全过程,包括热备盘设置和CentOS 7.9系统安装。通过实战步骤和性能优化建议,帮助企业IT人员高效部署高可用存储方案,特别适合需要数据冗余和系统稳定性的企业级应用场景。

weixin_29248653的博客 359

DeepSeek 把官方聊天前端开源了,零后端纯静态还兼容 Anthropic API

最近想给手头的 agent 工作流配一个能自己改的对话界面,DeepSeek 官方这次直接把自家 App 的壳开源了,协议细节全是现成答案。本周 Top5:astryx(+13,501)、sherlock(+10,412)、skills(+6,077)、OpenMausBot(+5,463)、elephant-goldfish-model(+5,060)。

Kaiji1126的博客 309

Simulink模型转FMU全攻略:从环境配置到问题排查

在复杂系统仿真中,功能样机单元FMU作为FMI标准的核心载体,将动态系统模型封装为独立、可复用的跨平台组件,无需依赖原始建模环境即可被其他工具调用。其原理是通过标准化接口描述与可执行代码,实现模型交换与联合仿真,极大提升了模型复用性和跨团队协作效率。在汽车、航空航天等领域,FMU广泛应用于控制器算法验证、多物理场联合仿真等场景。然而,从Simulink等工具导出FMU涉及环境配置、模型规范化、类型选择等关键步骤,稍有疏忽便会导致编译失败或仿真结果不一致。本文立足工程实践,系统梳理Simulink模型转FMU

weixin_29179311的博客 275

优雅草2026年10个开源鸿蒙工业软件项目五详解:鸿蒙星闪旋转设备振动监测节点

本项目聚焦旋转设备振动监测“最后一米”难题,基于开源鸿蒙与星闪技术,打造低功耗无线振动节点。采用ADXL355高精度传感器,5分钟周期采集3.2kHz原始波形,通过星闪上传至网关,由网关侧完成FFT分析、特征提取与基线对比,实现故障早期预警。打样目标包括16位采样、≥2周续航、丢包率可测,交付2个磁吸/螺栓节点及网关分析固件。未来将拓展至“振动+电流”双维监测,推动工业预测性维护在水运、排污等场景的低成本普及。

一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8 215

双目深度相机--10.双目视觉的主要步骤讲解分析

双目视觉技术通过模拟人眼原理,利用两个相机从不同视角采集图像,实现三维坐标计算。其核心流程包括:1)系统标定,消除相机畸变并建立坐标映射关系;2)图像同步采集与预处理;3)立体匹配,寻找左右图像对应点;4)基于视差图的深度计算;5)三维重建生成点云或网格模型;6)结果应用如目标测距、三维建模等。关键技术难点在于精确标定和准确匹配,这两步直接影响最终深度计算的精度。该技术广泛应用于自动驾驶、工业检测、VR等领域,实现了从二维图像到三维空间的精准转换。

AIoT深度探索者 | 嵌入式系统架构师 深耕物联网(IoT)与人工智能(AI)融合技术,聚焦​​边缘计算、图像开发、低功耗通信协议​​,致力于智能硬件,关注我获取最新技术文章信息与海量资源~ 627

BoT-SORT实战:手把手教你实现BoT-SORT训练和测试

文章目录摘要1、数据准备2、配置BoT-SORT环境2.1、获取代码2.2、创建虚拟环境2.3、安装必要的包2.3.1、安装pytorch2.3.2、安装cython2.3.3、安装Cython-bbox2.3.4、安装faiss2.3.5、安装其他的包3、训练3.1、生成REID数据集3.2、预训练模型3.2.1、ByteTrack预训练模型3.2.2、REID预训练模型3.3、开始训练4、如何更改FASTREID的BackBone?5、测试5.1、测试视频5.2、测试摄像头5.3、多类别测试 摘要 Bo

m0_47867638的博客 2301

openEuler 汇聚开源力量,深化系统级创新,构筑 Agentic Infra 坚实底座

11月14日,openEuler Summit 2026(以下简称“大会”)在北京中关村国际创新中心圆满落幕。大会由开放原子开源欧拉(OpenAtom openEuler,简称“开源欧拉”或“openEuler”)社区协同产业伙伴共同主办,集中展示openEuler在超节点与Agentic Infra领域的技术创新、社区建设和生态合作,吸引社区开发者、企业代表和学术界专家共同参与。

GZZN2019的博客 175

电子元器件选型与实战应用—01 电阻选型

大家好, 我是记得诚。这是《电子元器件选型与实战应用》专栏的第一篇文章,今天的主角是电阻,在每一个电子产品中,都少不了电阻的身影,其重要性不言而喻。

记得诚 3539

为什么需要软件制品库,以及开源制品数据有什么用

构建失败、版本不一致等问题,根源常在于忽视软件制品的管理。虽代码受控,但依赖包、镜像等制品缺乏统一存储与追踪,导致重复下载、环境差异、漏洞难查。建设制品库可缓存依赖、保障构建一致性,结合SBOM、PURL、OSV等数据,实现组件身份、依赖关系、许可证与漏洞信息的全链路追溯。通过关联代码提交与构建记录,支持长期维护、安全审计与快速排查。从统一依赖入口起步,逐步完善制品治理,才能真正实现可复现、可信赖的交付体系。

啊不行了,要长脑子了 201

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

开源AI桌面助手哪个好?5类项目的能力、许可证与部署选型

从开源范围、产品定位、任务执行、模型接入、部署方式与许可证六个维度做一次横向梳理如果你正在寻找一款开源 AI 桌面助手,可能已经在 GitHub 上看到过不少项目。有些项目能够连接多个大模型,有些能够读取本地文件、执行命令,还有些可以调用浏览器、操作电脑,甚至让多个智能体协同完成工作。但这些项目并不完全属于同一类产品。例如,有的只是一个多模型聊天客户端,有的是能够直接执行任务的 AI Agent,还有的属于本地部署的 AI 管理平台。

sykdjs的博客 268

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

让 Electron、Windows 桌面应用也能直接调用 uniCloud:unicloud-sdk 开源发布

摘要(148字): 为解决 Electron、Vue/React 项目及 Node.js 环境无法直接调用 uniCloud 的问题,开发者开源了 @yungot/unicloud-sdk。该 SDK 支持云对象、云函数、存储与登录态管理,兼容 Windows 桌面应用,通过设备身份签名与宿主桥机制保障安全,实现与 uni-app 一致的调用体验。已通过真实项目验证,支持 TypeScript、零依赖,适用于非 uni-app 场景的 uniCloud 接入。

IT开发 261

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Windows 本地部署 Nexent 全流程实录:3 个坑的成因与解法,50 分钟跑通 13 个容器

最近,华为把零代码智能体平台 Nexent 开源到了 AtomGit 上,归在魔擎社区(ModelEngine)名下。它的口号是"一个提示词,无限种可能",在工作台用自然语言描述需求,平台直接产出可运行的智能体,不用画流程图,也不用写代码。看到这个定位,我决定在自己的 Windows 机器上完整跑一遍部署。

鸽芷咕的博客 1万+

开源虚拟机与桌面虚拟化工具离线镜像合集

本集合汇总等开源虚拟机与桌面虚拟化相关离线包。不重分发 Oracle VirtualBox 专有二进制(PUEL),侧重 FOSS 生态与文档说明包。

243

关于优雅草科技十大开源工业软件实验验证与中试报备的流程说明

优雅草科技将于2026年11月发布10款基于鸿蒙+星闪+海思的国产工业开源软件,计划12月至1月完成样机打样与实验室验证。项目涉及高精仪器测试,需依托成都五家实验室分阶段开展结构打样、产线模拟及专项测试(如视觉同步、EMC干扰、配电柜环境等)。完成后,将向“工业软件中试验证平台(成都)”提交材料,进行中试报备与产品上架,推动软件从“能用”迈向“好用”。

一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8 201

【字节拥抱开源】Cola2:用连续隐变量重构语言模型,346B Token 跑出 60.10 八任务均分

Cola2 是一款基于连续隐变量的自适应语言模型,通过动态语义压缩与块因果扩散 Transformer(DiT)实现高效生成。它在346.03B token上训练,八项评测平均得分60.10,性能超越部分更大规模模型。其核心创新在于联合优化隐变量压缩与离散解码,支持受控扩展与稳定推理。项目提供完整权重、工具链及评测数据,适用于研究与应用。

weixin_41446370的博客 351

友好型开源模型SSM+Transformer 混合架构:Jamba 把 256K 长上下文塞进显存

**Jamba** 是 AI21 Labs 的 `Jamba` 混合 SSM-Transformer 开源大模型,原生 256K、Apache-2.0;本文讲清架构与部署,同档对标 Llama 5 / Qwen3.6。

雨1986的博客 356

Buoyant 开源 Kinference:面向 Kubernetes 与 vLLM 的推理控制平面

Buoyant 发布 Apache 2.0 许可的 Kinference v0.1.0-alpha.7,为 Kubernetes 上的 vLLM 提供路由策略、缓存感知负载均衡和按租户计量的推理控制平面。

老孙正经胡说 359

开源模型落地怎么选算力?训练、微调和推理的成本测算与验收清单

本文从任务类型出发,提出API、租用GPU与私有化三者的决策框架,强调需基于训练量、并发、时延等真实业务指标选型。提供可复用的测算模板,涵盖训练、存储、工程与失败成本,并强调推理容量需压测验证,国产算力适配须独立评估。最终以一页验收表确保上线合规与可持续性,倡导以业务指标驱动技术选型,而非盲目追求硬件性能。

weixin_54920620的博客 47

基于足行 X2 平台的 Sim-to-Real 开发实践:开源生态与仿真工具链落地解析

在人形机器人运动控制开发中,Sim-to-Real(仿真到真机迁移)是影响研发效率的核心环节。算法在仿真环境中调试完成后,迁移至真机时常出现姿态偏差、稳定性下降的问题,反复真机调试既拉长研发周期,也会提升硬件损耗成本。本文以安徽足行机器人集团有限公司的 X2 科研平台为样本,基于产品技术白皮书公开信息,解析其开源生态与仿真工具链的落地实现逻辑。

jing_hong1的博客 189

开源赋能数智未来| openKylin全球生态推广会成功举办

他指出,一是以开源推动繁荣。基金会将致力于推动openKylin国际化进程,支持海外社区发布本地化发行版,深化与国际开源组织合作,联合开展技术推广与人才培养,并推进项目与生态的本地化运营,适配更多软硬件市场,让openKylin更好服务全球用户。openKylin 致力于打造全球领先的智能操作系统开源根社区,将以开源贡献为抓手,依托社区力量推进多语言版本开发、本地化适配与行业示范落地,联动全球生态伙伴推动开源操作系统规模化出海,深化亚太产业资源对接,为亚太共同体建设与全球数字建设贡献力量。

openKylin的博客 184

主流开源 LLM 网关横向评测:OneAPI、LiteLLM、NewAPI 能力对比

在大模型应用规模化落地的当下,多模型混用、API 密钥分散、成本不可控、接口不统一已成为开发者的普遍痛点。LLM 网关作为 AI 应用层与模型层之间的核心中间件,承担着协议转换、流量路由、成本管控、安全审计的关键作用。本文从协议许可、功能完备度、性能表现、生态适配四个核心维度,对业内主流的三款开源 LLM 网关 ——OneAPI、LiteLLM、NewAPI 进行深度横向评测,为不同规模的团队提供选型参考。

2601_96785163的博客 312
上一篇: 祝贺!Databend Cloud 和阿里云 PolarDB 达成认证
下一篇: 祝贺!Databend Cloud 入驻 AWS 云市场
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值