Databend 开源周报 #70

SpringBoot+Vue+MySQL 高校学科竞赛平台 完整可运行版(源码+文档) 本项目基于SpringBoot+Vue+MySQL构建高校学科竞赛管理平台,覆盖学生、教师、领队教师、管理员四大角色,实现竞赛发布、报名、刷题、评分、公示等全流程闭环管理。系统架构清晰,技术主流,配套完整源码、数据库脚本、万字论文、开题报告、答辩PPT及部署文档,支持一键运行,适用于毕业设计、课程设计及院系二次开发,真正实现“开箱即用”。 阅读详情

Databend 是一款强大的云数仓。专为弹性和高效设计,自由且开源。

即刻体验云服务:https://app.databend.com。

What’s New

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

Features & Improvements

Format

  • 更好地检查格式相关选项 (#8981)
  • 为 Parquet 文件提供基本的模式推断能力 (#9043)

Query

  • QualifiedName 支持 ‘db.table.’ 和 ‘table.’ (#8965)
  • 支持批量插入时关闭表达式解析 (#8966)

Storage

  • 为 fuse engine 增加 cache layer (#8830)
  • 新增 system 表 system.memory_statistics (#8945)
  • 新增 “optimize table table_name statistic” 支持,用于计算表统计信息 (#8891)

Code Refactor

Base

  • 移除 common-macros (#8936)

Format

  • TypeDeserializer 中去除 FormatSetting (#8950)

Planner

  • 重构 “ExtractOrPredicate” ,合并到 “RulePushDownFilterJoin”(#8951)

Processors

  • 合并构建数据块来优化 join (#8961)

New Expression

  • 使用新方法重做 #8789 (#9008)

Documentation

  • 使用 Crowdin 提供 i18n 支持 (#8987, #8997, etc.)

Bug Fix

Base

  • 修复 memory tracker 丢失的问题 (#8932)

Meta

  • 修复 share db 漏洞,如果需要则创建 “DatabaseIdToName” (#9006)

Mysql handler

  • 修复 MySQL 连接泄漏 (#8894)

Processors

  • 修复 “update_list” 中的内存泄漏 (#9023)

Storage

  • 压缩时并行读写数据块 (#8921)

What’s On In Databend

请持续关注 Databend 的最新动态。

Infer Schema 前瞻

通常,在从 stage 或者其他位置载入数据时,我们需要先创建对应的表。但有些时候,我们无法预知文件模式或者需要创建的模式太复杂,使得无法轻松完成创建表的工作。

引入模式推断将会简化从文件载入数据的过程。甚至,可以直接使用 SELECT 语句查询 stage 中的数据,例如 “select * from @my_stage” 。

INFER 's3://mybucket/data.csv' FILE_FORMAT = ( TYPE = CSV );
+-------------+---------+----------+
| COLUMN_NAME | TYPE    | NULLABLE |
|-------------+---------+----------|
| CONTINENT   | TEXT    | True     |
| COUNTRY     | VARIANT | True     |
+-------------+---------+----------+

在 #9043 中,Databend 新增对 parquet 文件进行基本模式推断的接口,我们将会在这个基础上继续推动 #7211 的解决,以支持 “select * from @stage” 。

阅读以下材料以了解更多讯息:

  • PR | add basic schema infer for parquet

  • Issue | query data from S3 location or stage

  • PR | rfc: Infer Schema

What’s Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

为 MySQL Handler 添加 TLS 支持

近期发布的 opensrv-mysql v0.3.0 引入了 TLS 支持,是时候为 Databend 的 MySQL Handler 实现它。

let (is_ssl, init_params) = opensrv_mysql::AsyncMysqlIntermediary::init_before_ssl(
    &mut shim,
    &mut r,
    &mut w,
    &Some(tls_config.clone()),
)
.await
.unwrap();

opensrv_mysql::secure_run_with_options(shim, w, ops, tls_config, init_params).await

Issue 8983: Feature: tls support for mysql handler

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。
在这里插入图片描述

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend Website :https://databend.rs/

  • Weekly :https://weekly.databend.rs/

  • GitHub Discussions :https://github.com/datafuselabs/databend/discussions

  • Twitter :https://twitter.com/Datafuse_Labs

  • Slack Channel :https://link.databend.rs/join-slack

SpringBoot+Vue+MySQL 民宿在线预定平台 完整可运行版(源码+文档) 本文介绍一套基于SpringBoot+Vue+MySQL的民宿在线预订平台,涵盖用户与管理员双角色全流程功能,实现房源展示、订单管理、支付模拟、数据看板等闭环业务。系统架构清晰,前后端分离,附带完整源码、数据库脚本、万字论文、答辩PPT及部署文档,适合毕设、课程设计或小型民宿二次开发,开箱即用,快速落地。 阅读详情

相关推荐

零基础玩转STM32CubeIDE LL库:5分钟搞定串口通信(附完整代码)

本文为零基础开发者提供了一份STM32CubeIDE LL库串口通信的快速实战指南。通过CubeMX配置、LL库核心API详解,以及中断接收与环形缓冲区的完整代码实现,帮助读者在5分钟内搭建稳定可靠的串口收发框架,解决从HAL切换到LL库的常见困惑,提升嵌入式开发效率。

weixin_29159441的博客 308

Databend 在数据归档分析中的优秀表现

本篇文章基于 Databend 的用户测试体验整理,详情可戳原文链接查看,正文总体分为四部分:atabend 是一个使用 Rust 研发、开源、完全面向云架构的新式数仓,提供极速的弹性扩展能力,致力于打造按需、按量的 Data Cloud 产品体验。具备以下特点:Databend 官方教程:Deploy Databend With Alibaba Cloud OSS | DatabendDatabend 部署产品架构图Query 计算节点:用于协议的解析、SQL的计算下推。Meta 元数据节点:用于存储元数

Databend的博客 414

深信服防火墙路由模式开局部署-手把手教学(小白篇)

手把手教学,拿到深信服的防火墙路由模式该如何开局?

m0_64423407的博客 2万+

Databend db-archiver 数据归档压测报告

可以看到 db-archiver 的线程数比较重要,但线程也不能无限开大,要根据所在机器的具体配置调优。更多详细配置可以参考:https://github.com/databendcloud/db-archiver?到 Databend Cloud 上启动 small warehouse 用作同步目标,本次我们选择 Databend Cloud的阿里云北京区。为了减小跨区域的网络延迟影响,我们同样选择开启一个北京区的 ECS 作为我们同步任务执行的地方。, 归档的数据量为一亿条数据。

Jack的专栏 826

LVGL移植教程(正点原子)

学习正点原子LVGL移植教程,根据视频教程写的博客

papalila的博客 945

用RFSoC ZU47DR搭建软件无线电原型:从零配置Vivado到生成第一个射频信号

本文详细介绍了如何使用Xilinx RFSoC ZU47DR开发板搭建软件无线电原型系统,从Vivado环境配置到生成首个射频信号的全流程。通过整合ARM处理器、FPGA逻辑和高速ADC/DAC,该平台为通信算法验证提供了高效解决方案,特别适合SDR开发者和通信工程师快速实现原型设计。

weixin_26763955的博客 595

open***-server 搭建

1、需求vps 下搭建open***,并推送相关路由,此种***与商业化的SSL ***几乎等同无异。稳定性不相 上下,但没有ssl 搭建维护方便2、*** 安装在/usr/local/open*** 目录下、并做配置tar xvzf open***-2.0.9.tar.gzmkdir /usr/local/open***cd open***./configu...

weixin_33866037的博客 395

Inside NAND Flash Memories.中文版. Chatper 2 [2.1-2.2.1]

2.1 Introduction 半导体存储器分类: RAM:Random Access Memories--掉电丢失 ROM:Read Only Memories--只读,出厂时写好;掉电不丢失;不可更改。 NVM:Non-Volatile Memories--电可擦除/写入,并且掉电不丢失。第一类产品为EPROM memory (Erasable Programmable Read...

xuqikang的专栏 3610

OpenServer 2.0

 

刘欣的优快云博客 2314

ZYNQ通过AXI DMA实现PL发送连续大量数据到PS DDR

方案二是在PS端的MPU配置中,将DMA缓冲区所在的内存区域标记为“不缓存”(Device或Strongly Ordered类型),但这样CPU访问这些内存区的速度会大幅降低,需要根据实时性和数据正确性的需求做权衡。更妙的是,描述符链表可以做成一个环状队列,放在DDR里让DMA循环取走,从而实现持续不断的“流式”传输。用FPGA实现FFT硬件加速的系统中也是如此:PS向PL提交待处理的FFT数据,PL硬件加速计算后,DMA把结果写回DDR,全程CPU几乎只做配置调度,大量数据吞吐留给了硬件通道。

QQ_778132974的博客 180

Transformer实战(1)——词嵌入技术详解

词嵌入的核心思想是,通过将词语表示为稠密的向量,使得计算机可以更有效地处理和理解文本中的语义关系。在本节中,我们学习了单词分布式表示的概念及其实现,包括静态嵌入和动态嵌入,实现了 Word2Vec 和 GloVe 模型,并介绍了如何使用 Gensim API 探索嵌入空间。

盼小辉丶的博客 1万+

Databend 开源周报第 84 期

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。Databend 现在支持使用 REPLACE INTO 语句插入或更新数据。该语句允许你指定一个冲突键(conflict key),用于判断是应该插入一行新数据,还是更新一行已有数据。如果表中已经存在与冲突键相同的行,Databend 会用新数据更新这一行。否则,新数据会作为一行新记录添加到表中。你可以使用这个语句来轻松地同步不同来源的数据或处理重复记录。如果你想要了解关于 REPLACE INTO 语句的更多细节,可以参阅下方列

Databend的博客 485

UltraScale系列底层结构(3)——URAM概述

在UltraScale+™ 器件中,除了我们在常规熟悉的BRAM资源以外,还额外提供了URAM(UltraRAM)资源。 UltraRAM 是一种单时钟同步操作的高密度存储器,每个 UltraRAM 块可存储 288 Kb 数据,配置为 4K x 72 位的存储单元,其容量是 Block RAM 的八倍。虽然 UltraRAM 内部使用单端口存储单元,但通过在一个时钟周期内顺序执行端口 A 和端口 B 的操作,实现了双端口功能。

apple_53311083的博客 2841

MySQL 索引深入理解:B+ 树、二级索引、联合索引与查询优化

理解二级索引后,就可以理解回表了。SELECT *MySQL 的执行过程分为三个步骤。覆盖索引(Covering Index)并不是一种独立的索引类型,而是一种查询效果。SQL 查询需要的所有字段,都能够直接从某个索引中获得,不需要再访问聚簇索引获取其他字段。例如:因为user_id已经包含在二级索引中,所以 MySQL 可以直接返回结果。不需要回表。联合索引(Composite Index)是同时使用多个字段建立的索引。它的排序规则是:首先按照user_id排序。当user_id。

m0_64642997的博客 141

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

一篇文章讲清 MySQL 索引:聚簇索引、联合索引、回表与 EXPLAIN

以订单查询为例,拆解 InnoDB 聚簇索引与二级索引的存储和回表路径,解释联合索引的列序、覆盖与 ICP,再用 EXPLAIN 判断扫描、排序和优化器选择,给出可复现的排查方法。

qq_74421990的博客 294

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

MySQL 中 DISTINCT 与 GROUP BY 哪个效率更高?

DISTINCT与GROUP BY在纯去重场景下,MySQL 8.0 中执行计划通常一致,效率基本相同。老版本(8.0.13 之前)GROUP BY有隐式排序开销,DISTINCT往往更快。需要聚合或HAVING时,只能用GROUP BY。效率的真正决定因素是索引和执行计划,而不是这两个关键字本身。所以,与其问「哪个更快」,不如问「我的查询有没有走对索引」。

2601_96709915的博客 343

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

4. 关系型数据库-MySQL-Canal 进阶

Canal 是基于 MySQL binlog 的增量数据订阅工具,可实现数据库变更的实时捕获。它通过伪装从库订阅 binlog,无需业务代码侵入,支持缓存同步、搜索索引更新、数据异构、实时入仓及汇总宽表增量更新等场景。使用时需开启 ROW 格式 binlog,配置专用账号,并通过 canal-server 接收事件,下游消费者处理后确认。注意 binlog 保留期、正则过滤写法及全量初始化等关键点,避免数据丢失或误判。

princemilo的博客 164

mysql常见问题汇总

按「现象 → 排查 → 解法」整理,按事故频率排序。

qq_38636133的博客 187

基于 FastAPI+LangChain+LangGraph+Agent+Vue3+MySQL 的房产数据采集与房价预测分析平台

本文介绍一个完整的「房产数据采集+AI房价预测」全栈项目,涵盖FastAPI异步后端、LangGraph Agent智能问答、爬虫采集、机器学习预测与Vue3前端,实现从数据采集到AI交互的闭环。项目融合多技术栈,具备真实业务场景与生产级设计(如降级策略、流式输出、多模型对比),兼具简历亮点与答辩演示优势,可系统性提升工程能力,并附高频面试题解析,是理想的技术综合实践项目。

深耕开发,专注编程实战。分享源码解析、项目搭建、问题排查笔记,沉淀技术,持续更新。 252

MySQL 事务:转账中途断电,钱为什么没有丢

本文系统讲解 MySQL 事务的原理与实践:以转账场景引入原子性、一致性、隔离性、持久性四大保证,剖析脏读、不可重复读、幻读三类并发异常与四个隔离级别的取舍,解读 undo log、redo log、锁与多版本并发控制的底层实现,并给出事务粒度控制与异常回滚的编码建议。

大模型全栈工程师 · Thanks_ks 315

MYSQL第三次作业

目的:通过作业来检测自己是否掌握了知识点在开始讲解今天的题目之前我先给大家介绍DQL语法的执行顺序,可以理解为总体地学习一下,将第二次作业所介绍到的语法系统化。select 字段列表 from 表名列表 where 条件列表 group by 分组字段列表 having 分组 后条件列表 order by 排序字段列表 limit 分页参数执行顺序from:SQL查询起点,指定表或视图where:过滤数据,返回满足条件的记录group by:数据分组,进行聚合操作。

miss_16f的博客 144

MYSQL-多表设计

在项目开发中,在进行各个数据库表结构设计时,会根据业务需求及业务模块之间的关系,分析并设计表结构。由于业务之间相互关联,所有各个表结构之间也存在各种联系。

weixin_61074074的博客 175

【Mysql剑指offer系列 (一) 】SQL基础

本文为MySQL基础八股笔记,涵盖SQL与NoSQL区别、三大范式、连表查询、防重复插入、数据类型选择(CHAR/VARCHAR、INT显示宽度、DECIMAL)、IP存储、外键约束、IN与EXISTS对比、常用函数、COUNT差异、NULL与空字符串、删除操作区别、SQL执行顺序及可重入锁实现等核心知识点,结合原理与实践,助力夯实数据库基础。

2501_93095927的博客 328

微服务架构下的MySQL设计实战

微服务架构下的 MySQL 交付,核心不是追求最先进的技术方案,而是建立一套边界清晰、可评审、可监控、可回滚的规范体系。分库分表解决容量与写入扩展,读写分离解决读扩展,索引优化与慢查询治理解决日常性能问题,变更管控与备份容灾守住交付底线。把这些实践嵌入需求评审、开发自测、测试压测、上线灰度、运维巡检的每个环节,并明确各自的适用边界与常见误区,才能真正让数据库成为微服务交付的稳定底座,而不是随时可能引爆的风险点。

流水账 798

mysql初阶--数据库设计

本文系统阐述数据库设计的核心方法论,从范式理论(1NF、2NF、3NF)出发,揭示数据冗余与操作异常的根源,强调3NF为工程实践的最优平衡点。通过E-R图构建实体关系模型,实现从业务需求到表结构的清晰映射。文章厘清类、实体、表三者对应关系,提出“抽象→建模→落地”的设计流程,帮助开发者建立可复用的数据库设计思维框架,避免“拍脑袋”建表的陷阱。

2601_97033068的博客 720

MySQL报Too many open files?句柄耗尽的排查与参数配置

文章讲清 max_connections 与 open_files_limit 两个额度、句柄被谁占走、分区表为什么最容易踩,给出从 error log 到 /proc/pid/limits 的定位顺序与句柄预算算法。

「一个在数据库赛道上边学边分享的学妹」——聚焦国产数据库/信创方向、分享学习笔记、踩坑经验和行业观察。 338
上一篇: 使用 Databend 加速 Hive 查询
下一篇: Databend 开源周报 #71
Databend
博客等级 码龄5年 1458粉丝 362原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值