Databend v0.8 新版本上线!

船载 OpenHarmony AIS 航海工作台:网络层与后端 API 通信 本文介绍船载OpenHarmony AIS航海工作台的网络层设计,通过单例HttpManager统一管理HTTPS请求,采用应用标识、随机串与密钥的MD5签名实现安全鉴权,密钥构建注入不落地。接口涵盖天气、潮汐、水位等,响应统一结构并确保资源释放。关键数据如潮汐采用“缓存优先”策略,支持离线查看。配套管理器协同处理多类网络任务,保障弱网体验与系统稳定。 阅读详情

​Hello,大家好,我是漩涡,现在由我代表 Databend 社区宣布 v0.8 版本的正式发布。

Databend v0.8 的开发于 3 月 28 号开始,总计 5000+ commits,4600+ 文件变更。在过去的 5 个月中,社区的 120 余位贡献者新增了 42 W 行代码,删除了 16 W 行,相当于把 Databend 重写了一遍。在该版本中,社区对 SQL Planner 框架做出了重大改进,并将所有的 SQL 语句都迁移到了新的 Planner 上,提供了完整的 JOIN 和子查询支持。

现在就下载最新版本

Release v0.8.0-nightly · datafuselabs/databend · GitHub

接下来就让我们看看 v0.8 都做了什么吧~

Databend 是什么?

Databend 是一个基于 Rust 开发的现代化云数据仓库,致力于实现高性能可弹性扩展的实时数据分析,激活用户的数据潜能。

重大改进

  • New Planner: JOIN! JOIN! JOIN!

为了更好的支持复杂的 SQL 查询和提升用户体验,Databend v0.8 设计了全新的 Planner 框架。

在 New Planner 的驱动下,Databend 增加了 JOIN 和高效的子查询支持,所有的子查询在进入 runtime 之前已经完全被 decorrelation:

select vip_info.Client_ID, vip_info.Region 
    from vip_info right 
    join purchase_records 
    on vip_info.Client_ID = purchase_records.Client_ID;
  • New Parser: 最好用的 Parser!

在重构 Planner 的同时,Databend 社区基于 nom和 partt 实现了兼顾开发效率与用户体验的全新 Parser。

新的 Parser 让开发者以直观的方式轻松的设计/开发/测试复杂的 SQL 语法

COPY
    ~ INTO ~ #copy_unit
    ~ FROM ~ #copy_unit
    ~ ( FILES ~ "=" ~ "(" ~ #comma_separated_list0(literal_string) ~ ")")?
    ~ ( PATTERN ~ "=" ~ #literal_string)?
    ~ ( FILE_FORMAT ~ "=" ~ #options)?
    ~ ( VALIDATION_MODE ~ "=" ~ #literal_string)?
    ~ ( SIZE_LIMIT ~ "=" ~ #literal_u64)?

同时能给予用户具体而精准的报错信息:

MySQL [(none)]> select number from numbers(10) as t inner join numbers(30) as t1 using(number);
ERROR 1105 (HY000): Code: 1065, displayText = error:
  --> SQL:1:8
  |
1 | select number from numbers(10) as t inner join numbers(30) as t1 using(number)
  |        ^^^^^^ column reference is ambiguous

再也不用担心不知道 SQL 哪里出错了。

访问 The New Databend SQL Planner 以了解更多细节

全新特性

除了全新设计的 Planner 之外,Databend 社区还实现了众多新功能:

COPY 增强:

COPY 能力得到了极大强化,现在的 Databend 可以

  • 从任意支持的存储服务复制数据 (甚至是 https!)

       COPY 
           INTO ontime200 
           FROM 'https://repo.databend.rs/dataset/stateful/ontime_2006_[200-300].csv' 
           FILE_FORMAT = (TYPE = 'CSV')
  • 支持复制压缩文件

    COPY 
        INTO ontime200 
        FROM 's3://bucket/dataset/stateful/ontime.csv.gz' 
        FILE_FORMAT = (TYPE = 'CSV' COMPRESSION=AUTO)
    
  • UNLOAD 数据到任意支持的存储服务

    COPY 
        INTO 'azblob://bucket/'  
        FROM ontime200
        FILE_FORMAT = (TYPE = 'PARQUET‘)
  • Hive 支持:

    Databend v0.8 设计并开发了 Multi Catalog 并在此基础上实现了 Hive Metastore 的支持!

    现在 Databend 能够直接对接 Hive 并从 HDFS 上读取数据。

    select * from hive.default.customer_p2 order by c_nation;

    时间旅行:

    很久之前,Databend 社区分享过底层 FUSE Engine 的实现 From Git to Fuse Engine(https://databend.rs/blog/databend-engine)。其中一个非常重要的特性就是支持时间旅行,我们能够查询任何一个时间点的数据表。

    从 v0.8 版本开始,这个功能被正式实装啦,现在我们可以

  • 查询指定时间的数据表

    -- Travel to the time when the last row was inserted
    select * from demo at (TIMESTAMP => '2022-06-22 08:58:54.509008'::TIMESTAMP); 
    +----------+
    | c        |
    +----------+
    | batch1.1 |
    | batch1.2 |
    | batch2.1 |
    +----------+
  • 恢复误删除的数据表

    DROP TABLE test;
    
    SELECT * FROM test;
    ERROR 1105 (HY000): Code: 1025, displayText = Unknown table 'test'.
    
    -- un-drop table
    UNDROP TABLE test;
    
    -- check
    SELECT * FROM test;
    +------+------+
    | a    | b    |
    +------+------+
    |    1 | a    |
    +------+------+
  • 让业务数据拥有更多保障!

    CTE 支持:

    CTE (Common Table Expression) 是 OLAP 业务中经常使用的功能,用来单个语句的执行范围内定义的临时结果集,只在查询期间有效,实现代码段的重复使用,提升可读性,更好的实现复杂的查询。

    Databend v0.8 在 New Planner 的基础上重新实现了 CTE,现在用户可以快乐的使用 WITH 来声明 CTE:

    WITH customers_in_quebec 
         AS (SELECT customername, 
                    city 
             FROM   customers 
             WHERE  province = 'Québec') 
    SELECT customername 
    FROM   customers_in_quebec
    WHERE  city = 'Montréal' 
    ORDER  BY customername; 

    除了上述提到的这些功能,Databend v0.8 还支持了 UDFs,增加了 DELETE 语句,进一步强化了半结构化数据类型的支持,更不必说大量的 SQL 语句改进和新方法的加入。感谢 Databend 社区的所有贡献者,没有你们就没有这里提到的所有新特性的诞生!

质量提升

功能实现只不过是产品交付的第一环。在 Databend v0.8,社区引入了工程质量的概念,从用户,贡献者,社区三个维度来评估 Databend 的开发质量。

让用户放心:

为了让用户能够放心地使用 Databend,社区在过去的三个月中增加了大量测试,撷取了来自 YDB 等充实 stateless 测试集,增加了 ontime,hits 等数据集的 stateful 测试,上线了 SQL Logic Test 对所有的接口进行覆盖测试,启用了 SQL Fuzz 测试来覆盖边界情况。

不仅如此,社区还上线了 Databend Perf 做 Databend 在生产环境的持续性能测试,用来及时发现意外的性能回退问题。

让贡献者舒心:

Databend 是一个大型的 Rust 项目,其构建时间饱受社区诟病。

为了改进这一问题,让贡献者舒心,社区上线了高配置,专门调优的 Self-hosted Runner 来执行 PR 的集成测试,启用了 Mergify,mold,dev-tools 等多项服务或工具来优化 CI 流程。

同时还发起了 Databend 项目结构调整的新规划,将原本巨大的 query crate 拆分为多个子 crate,尽可能避免改一行代码,check 执行五分钟的情形。

让社区开心:

Databend 是开源社区的贡献者和参与者。在 v0.8 的开发过程中,Databend 社区确立了 Upstream First 的原则,积极跟进并采用最新的上游版本,反馈已知 BUG,贡献自己的 Patch,开启了 Tracking issues of upstream first violation来跟进最新的动态。

Databend 社区积极探索与其他开源项目的集成,目前已经实现了 Vector,sqlalchemy,clickhouse-driver 等第三方驱动的集成和支持。

下一步计划

Databend v0.8 是一个夯实基础的版本,我们有了全新的 Planner,能够更加轻松的去实现功能和进行优化。在 0.9 版本中,我们期望改进如下方面:

  • Query Result Cache

  • JSON Optimization

  • Table Share

  • Processor Profiling

  • Resource Quota

  • Data Caching

欢迎查阅 Release proposal: Nightly v0.9以了解最新动态~

现在就出发

访问发布日志和下载最新版本以了解更多,遇到问题欢迎使用 Github Issues提交反馈!

关于 Databend关于 DatabendDatabend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

 文章首发于公众号:Databend

图谱后端选型:Memgraph vs Neo4j vs 嵌入式 SQLite,什么时候该切换? 本文通过脚本自动探测代码图谱规模,对比SQLite、Memgraph与Neo4j在不同节点量级下的性能表现。实测表明:10万节点内嵌入式SQLite凭借低延迟和轻量部署仍具竞争力;超15万节点后,Memgraph适合低延迟、高并发场景;而Neo4j仅在百万级图谱且需复杂查询时才具备优势。配套提供一键测试延迟与平滑迁移后端的Python工具链,实现按需选型与无缝切换。 阅读详情

相关推荐

深度学习中的编码器-解码器架构

解码的作用:转换为人类可理解的形式,解码器的任务是将编码器生成的中间表示(上下文向量)转换回人类可理解的输出形式(如翻译后的文本、生成的图像描述等)。解码器通过逐步生成输出序列,使得最终的输出符合人类的理解和需求。编码的作用:转换为机器可理解的形式,编码器将输入数据(如文本、图像等)转换为一种机器更容易处理和理解的形式,即上下文向量或编码。在深度学习中,编码器(Encoder)解码器(Decoder)是常见的神经网络架构,通常用于处理序列到序列(seq2seq)任务,如机器翻译、文本摘要和图像描述等。

xxk1323的博客 1093

使用 bend-ingest-kafka 将数据流实时导入到 Databend

bend-ingest-kafka 作为一个强大的工具,为 Databend 用户提供了从 Kafka 实时导入数据的能力。通过本文的介绍,用户应该能够快速上手并利用这个工具来实现实时数据处理的需求。

Databend的博客 994

PTA编程—币值转换

我对于这个题的主要思想就是把九位数分三块,对每块进行处理后,再合并。有了这个思想就开始写代码,后面就是哪有洞补哪,哪个测试用例没通过就对其特殊处理…。反正最后测试用例全通过了。 #include<iostream> #include <string> #include <algorithm> using namespace std; char a[10]={'a','b','c','d','e','f','g','h','i','j'}; //既然题目说了最多9位

uyo9ko的博客 991

Kafka 到数据仓库:使用 bend-ingest-kafka 将消息加载到 Databend

JSON模式:此模式解析 JSON 消息并将每个字段加载到目标表的相应列中。它将 Kafka 消息转换为与表模式直接映射的结构化格式。RAW模式:在此模式下,该工具会创建一个包含uuidkoffsetkpartitionraw_data和add_time等列的表。Kafka 消息存储在raw_data列中,并将其他元数据注入到其他列中,从而保留原始消息格式并提供有用的上下文。有关 bend-ingest-kafka 的更多详细信息,请查看README。

Databend的博客 1207

用PyCharm+Scrapy打造你的第一个爬虫:从安装到实战(附完整代码)

本文详细介绍了如何使用PyCharm和Scrapy框架从零开始构建高效网络爬虫。通过环境配置、项目创建、核心爬虫逻辑编写到数据处理与存储的完整流程,帮助Python开发者快速掌握爬虫开发技巧,并附有实战代码示例。特别适合想要学习Scrapy框架和提升爬虫技能的开发者。

weixin_29038345的博客 870

拥有AI助手便能解放双手?——抖音直播脚本的生成

科技改变生活,AI助手帮你完成抖音创作!

Scientist_的博客 2354

Databend Labs 成立 3 周年!

Databend Labs」是开源 Data Cloud 基础设施研发商,也是背后支撑 Databend 开源项目和 Databend Cloud 云平台的核心团队,致力于为用户提供更低成本、更高性能、更加易用的企业级数据建设处理一站式解决方案。2024 年 3 月 5 日,正值惊蛰时节,也是「Databend Labs」成立三周年纪念日。在过去的 3 年里,Databend Labs 一直是 Rust 开源数据库生态的先锋建设者和重度参与者,并且积极推动云数仓解决方案的变革。

Databend的博客 1026

MTK PE+2.0介绍

  PE+2.0介绍:   1.      PE+2.0的状态机: 2.      升压波形协议及编码规则: PE+2.0软件设计:   在充电器类型为标充且底层电量SOC在1%—95%之间时,开始PE+2.0升压充电器的检测:首先将VBUSreset至5V,之后发送8.5的current pattern再获取此时VBUS电压和8.5V比较,若其与8.5的差值绝对值在0.5之...

raydom07的博客 1万+

开源之夏 2022 来袭,欢迎报名 RadonDB 社区项目

活动简介 “开源之夏(英文简称 OSPP)” 是中科院软件所 “开源软件供应链点亮计划” 指导下的一项面向高校学生的暑期活动,由中国科学院软件研究所与 openEuler 社区共同举办。 2022 年为此系列活动的第三届,开源之夏旨在鼓励在校学生积极参与开源软件的开发维护,促进优秀开源软件社区的蓬勃发展。活动联合各大开源社区,针对重要开源软件的开发与维护提供项目,并向全球高校学生开放报名。 学生可自主选择感兴趣的项目进行申请,并在中选后获得该软件资深维护者(社区导师)亲自指导的机会。根据项目的难易程度和完成

RadonDB的博客 2074

基于机器学习的网络入侵检测系统设计与实现

本文设计并实现了一个基于机器学习的网络入侵检测系统,采用随机森林模型结合KMM算法优化,使用CICIDS2017数据集进行训练。系统包含完整的数据预处理流程、特征工程、模型调优和远程部署方案。实验结果表明,该系统能有效识别多种网络攻击类型,在检测准确率和误报率方面表现优异。研究为网络安全防护提供了新的技术思路和实用工具,具有重要的应用价值。

huanghm88的专栏 319

DBeaver配置本地mysql-connector驱动文件

本文摘要:介绍了数据库驱动管理的基本操作步骤:1)新建驱动管理器,填写MySQL驱动名称、类名和类型;2)添加本地MySQL驱动文件;3)创建数据库连接并测试。适用于MySQL5.x和8.x版本,帮助用户快速配置数据库连接。

litlit023的专栏 1703

SpringBoot 新闻推荐系统:88个Java文件105个接口,首页推荐位是后端按点击数排出来的

# SpringBoot 新闻推荐系统:88个Java文件105个接口,首页推荐位是后端按点击数排出来的 > 这是一套基于 Spring Boot 的新闻推荐系统源码,配套 `db.sql` 建表脚本,业务覆盖新闻发布、排行榜管理、评论回复、点赞点踩、收藏夹和轮播图配置。形态是**前后台双端**:前台是读者用的 layui 静态站,后台是管理员用的 Vue 单页应用(编译产物已嵌在工程里)。最值

面朝大海 883

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

从邓明学习的后端笔记

在这里面对于高性能和高可用的支持是更多的,因为高并发可能相对更困难,成本更高,高性能的支持比如不要使用跨页查询,由业务维护之前搜索的位置,使用索引的方式比如 MongoDB 查询的没有索引使用索引,高可用比如分区存储多份且同一个的不同副本在不同的机器。可靠性包括三部分第一个生产者发送的没有正常被接收,可以通过 ack 和回表查询解决,第二个是 bRokeR 宕机还没持久化消息丢失,解决方法可以设置持久化频率,第三个是消费者异步处理的时候没有处理完成就标记已经消费,解决方法可以是处理完再移动偏移量。

m0_57222081的博客 249

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

BLG大战T1导致应用大规模启动

2026年11月9日,BLG对战T1赛事结束后4小时,因iOS灵动岛功能特性引发大规模应用后台启动。赛事期间用户开启灵动岛,赛后系统推送结束消息,但锁屏UI延迟4小时集中移除,触发大量客户端后台唤醒,导致登录态续期、设备指纹等服务告警。经排查,问题仅限iOS端,根源为灵动岛默认4小时后移除锁屏界面时自动唤醒应用。优化措施包括:临时扩容、推送打散(多通道串行+时间错峰)、客户端识别并保护后端请求,有效缓解压力。

weixin_42448366的博客 211

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

带着小白学习-微服务-6 实战:网关

地址栏输入:http://localhost:8088/goods/index,这时候就不是到8100端口去调用了,而是8088直接通过路由转发,分别到nacos对应的goods对应的服务中区调用。** 可以看出,这里将前面已经正常运行的server-store子工程(库存服务,服务提供方),server-goods子工程(商品服务,服务消费方)。(1)uri: lb://store 代表要到nacos的注册中心的服务列表中找到服务名为store的微服务;,网关是做路由转发,不是服务调用;

wdyan297的博客 253

HTML+CSS+JS对话式实战(5)-活动管理页之查看报名名单的实现

本文实现活动管理中的“查看报名名单”功能,通过POST接口 /activity/getSignList 根据活动ID查询报名信息,返回统一格式数据。前端在活动列表页新增【查看报名】按钮,点击后弹出独立窗口展示报名人员列表,支持空数据提示。使用 postRequest 封装请求,动态渲染表格,逻辑清晰可扩展。测试验证了正常、空名单及错误场景,最终优化弹窗样式,提升用户体验。

编程副队长 221

【AI】Agent 全栈进阶|AgentScope 沙箱源码解析

本文基于AgentScope源码,解析沙箱机制在DockerWorkspace中的实现原理。沙箱通过隔离执行环境,限制Agent对宿主机的副作用,保障安全;统一根路径/workspace,支持技能、会话与数据隔离,并借助MCP Gateway实现容器内进程通信。核心设计包括Backend抽象层、生命周期模板、目录结构规范及中转通信机制,实现权限与隔离解耦,适用于生产级Agent安全运行场景。

qq_45797138的博客 359

MCP实战手记(十四):MCP调用链追踪,`_meta`注入traceparent的独家方案

篇13已在网关补齐多租户,本篇解决MCP Client→Server链路不可见问题:SkyWalking、OTel Java Agent识别不了`_meta`通道。手动向`_meta`注入 W3C traceparent传递链路,给出可运行代码,支持注入、续接 span、下游透传;Micrometer 埋点延迟、QPS、成功率、P95、错误分布,日志携带traceId与租户。附选型与Docker 栈,实测MCP Java SDK 2.0.0透传可用,支持生产落地。

weixin_39885962的博客 1094

Vue Router

介绍vue-router的基本使用以及核心概念

k_5412528的博客 225

QDQ 量化:从「一格代表多大」到图上的显式精度边界

QDQ并非新量化算法,而是将量化参数(步长、零点)以节点形式显式嵌入ONNX图中,实现量化边界可视化与模型可移植。其核心仍为整数 = round(小数 ÷ 步长) + 零点,通过QuantizeLinear与DequantizeLinear节点标记量化位置。虽图上运行仍为FP32,但后端可识别并融合为真INT8计算(如QConv),实现存储压缩与加速。相比隐式缓存,QDQ提升调试性与跨平台兼容性,是量化落地的“白盒”交付方式。

飞鹰技术 180

零后端启动的Vue3中后台模板

Antdv Next Vue Admin 是一套基于 Vue 3.5 + TypeScript 的企业级中后台模板,主打“零后端启动”与“开箱即用”。通过进程内 Nitro Mock 实现无需后端即可运行,内置请求层、CRUD 状态机、权限指令、分片上传等高频能力,支持子包独立复用。其轻量可拆解的架构设计,结合 Tailwind CSS v4 与 reka-ui/shadcn-vue,显著降低学习成本与开发负担,特别适合中大型项目快速落地。

overFlowzy的博客 312

【全栈面试】Excel 导入流程

本文系统梳理全栈工程师面试中关于Excel导入功能的五大核心考察维度:架构分层(DTO/BO/DO职责分离)、前后端校验分工、性能优化(异步+流式读取+批量插入)、异常处理策略(精准反馈与错误报告)、技术选型原理(EasyExcel vs POI)。强调全栈思维应贯穿“契约先行、解耦设计、安全兜底、体验优化”全流程,通过实例展示如何从同步阻塞到异步高效重构,实现高可用、可维护、用户体验佳的完整链路设计。

qq_38980678的博客 312

Java 项目实战:交友项目后台系统——网关统一鉴权与 B 端管理后台

本次改造通过引入SpringCloud Gateway实现网关统一鉴权与路由,新建mf-admin管理端复用C端域服务(Dubbo调用),实现管理员登录与用户管理四件查询。核心套路:网关白名单+双体系JWT(同工具不同payload)、管理端零直连业务库、分页形态区分(MySQL自动count/Mongo手动count)、浏览器端独立聚合。踩坑12条,附自检清单与后续改造方向,可复用于多角色后台系统。

Wang的专栏 80

JSON 驱动完全控制布局

JSON 驱动完全控制布局

ZQ200720的博客 194

山东微程科技|轻量化实体门店数字化系统设计思路

考虑到线下商户网络不稳定场景,增加本地缓存 + 异步队列机制,弱网环境下支持订单暂存,网络恢复后自动同步,减少丢单问题。系统整体采用前后端分离架构,底层基于微服务拆分,将门店基础管理、会员体系、营销引擎、订单支付、多门店权限模块解耦。针对商家端,采用低代码可视化配置方案,商户无需编码,拖拽即可搭建小程序店铺、配置营销活动,大幅降低使用门槛。营销引擎作为核心模块,内置优惠券、储值、分销、拼团等常用算子,支持运营人员通过后台配置活动规则,无需后端迭代即可上线新玩法。

2508_94596546的博客 217
上一篇: Databend 源码阅读系列(一): 开篇
下一篇: 详解 Sqllogictest
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值