Databend 开源周报第 87 期

mall 电商项目完整部署---实战 mall 后端 SpringBoot,mall‑admin‑web 后台管理 Vue 前端,mall‑app‑sc 移动端 uni‑app 前端;修改数据库、redis、minio、logstash 地址,容器之间 link 别名:mysql 容器别名。🔔排坑:登录报跨域 / 接口报错,检查 prod.env.js 地址,确认 8080 后端服务正常运行。能打开页面,接口列表展示出来,后端部署完成。,所以打包的时候会自动构建镜像,很慢而且你暂时不需要。,容器数据持久化,删除容器数据不会丢失。 阅读详情

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.com 。

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

聚合窗口函数

聚合窗口函数是指将聚合函数应用于窗口中的每一行数据的函数。OVER 子句指定如何将结果集中的行分区。当与GROUP BY一起使用时,聚合窗口函数不会折叠行,而是返回结果集中的所有行。

-- use aggrerate window function
SELECT date, AVG(amount) over (partition by date)
FROM BookSold

June 21|544.0
June 21|544.0
June 22|454.5
June 22|454.5
June 23|643.0
June 23|643.0

Databend 所支持的所有聚合函数都可以作为聚合窗口函数。

在拼写错误时建议函数名称

Databend 近期新增一项用于提高使用体验的智能提示功能,当输入不正确的函数名称时,可以自动提示最接近匹配项。

#> select base64(1);
ERROR 1105 (HY000) at line 1: Code: 1008, displayText = error:
  --> SQL:1:8
  |
1 | select base64(1)
  |        ^^^^^^^^^ no function matches the given name: 'base64', do you mean 'to_base64'?

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

转储运行中的异步任务栈

Databend 现在支持转储正在运行的异步任务栈。只需访问 http://<admin_api_address>/debug/async_tasks/dump 即可在浏览器中捕获它。

调用 async_backtrace::taskdump_tree 函数可以获取异步任务树(由 #[async_backtrace::framed] 收集)的相关信息。

    let tree =
        async_backtrace::taskdump_tree(req.map(|x| x.wait_for_running_tasks).unwrap_or(false));

任务分为常规任务和轮询任务(标记为 [POLLING])。记录每个任务的栈信息,并按栈深度排序输出到字符串。

    for mut tasks in [tasks, polling_tasks] {
        tasks.sort_by(|l, r| Ord::cmp(&l.stack_frames.len(), &r.stack_frames.len()));

        for item in tasks.into_iter().rev() {
            for frame in item.stack_frames {
                writeln!(output, "{}", frame).unwrap();
            }

            writeln!(output).unwrap();
        }
    }

如果你想要了解其工作原理,可以访问下面的链接:

与 Jupyter Notebook 集成的新方法

正如 Doc | Visualization Databend Data in Jupyter Notebook 所述,我们可以使用 Jupyter Notebook 探索 Databend 中的数据。

然而,通过 magic 技巧和 ipython-sql ,我们可以提供另一种交互方式。这种方式使得 SQL 查询看起来像是在 SQL cells 中运行,而不需要维护用于集成的 Python 样板代码。

安装依赖

pip install ipython-sql databend-sqlalchemy

与 Jupyter Notebook 协同

In [1]: %load_ext sql

In [2]: %%sql databend://{username}:{password}@{host_port_name}/{database_name}?secure=false
   ...: SHOW DATABASES;

In [3]: result = %%sql SELECT * FROM numbers(100);

In [4]: %matplotlib inline
   ...: df = result.DataFrame()
   ...: df.plot()

亮点

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 通过选择预配置的 MySQL 驱动程序或添加 Databend JDBC 驱动程序,现在可以 *使用 DBeaver 连接到 Databend*。
  • Databend 现已提供与 Redash 的集成,帮助你洞见数据。文档 | Integrations - Redash
  • 掌握如何显示给定表中的列信息。 文档 | SHOW COLUMNS
  • Databend 现在支持 generate_series 和 range 表函数。
  • Databend 现在支持 ai_embedding_vector 函数,该函数返回由 OpenAI Embeddings API 生成的 1536 维 f32 向量。
  • Databend 增加了对DDL [CREATE | DROP | SHOW] SHARE ENDPOINT 的支持。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

收集来自 Sled 的度量信息

sled 是一种嵌入式数据库,启用 metrics 特性后可以导出度量信息。

Databend Meta Service 使用 sled 作为底层存储引擎。我们希望获取更多的度量信息来提高可观测性,并进一步优化。

Issue #7233 | make use of sled metrics feature for collect sled metrics

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 error with build info · Issue #9117 · datafuselabs/databend · GitHub 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:Releases · datafuselabs/databend · GitHub

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

5G NR 物理层 流程一:从帧结构到TB块,PDSCH/PUSCH 资源映射与TBS计算实战 本文详细解析了5G NR物理层流程,从帧结构到TB块的计算,重点介绍了PDSCH/PUSCH资源映射与TBS计算的实战方法。通过具体案例和公式推导,帮助工程师掌握5G NR资源分配、MCS选择及TBS量化过程,解决实际部署中的常见问题。 阅读详情

相关推荐

基于Xilinx的I2S Receiver IP核和I2S Transmitter IP核音频验证

基于Xilinx的I2S Receiver IP核和I2S Transmitter IP核音频验证 文章目录前言一、工程构架二、Xilinx IP的配置1.I2S Transmitter IP配置:2.I2S Receiver IP配置:3.WM8960的配置:总结 前言 本实验基于Xilinx ZU4EV平台,也适用于ZYNQ平台。音频验证完成,记录调过程。 ①Xilinx 音频IP只支持主模式,左对齐或右对齐方式,16bit或24bit字长。 ②WM8960器件作为从模式;24bit字长;数据传输格

weixin_45637597的博客 6816

推荐:sled —— 高性能的嵌入式数据库

`sled` 是一个强大的嵌入式数据库系统,设计目标是提供易于使用的API和出色的性能。它的灵感来源于LSM树结构,但同时融入了传统B+树的优点,以确保高效的读写操作。特别地,它支持事务处理、原子操作以及多种数据管理工具,如订阅、多键空间等。 ## 2、项目技术分析 - **API接口类似线程安全的BTreeMap**: sled提供了类似于标准库中的`BTreeMap`的操作接口,包括插入、...

gitblog_00029的博客 876

10行代码搞定QMT实盘交易:手把手教你用Python自动化买卖股票(附完整源代码)

本文提供了一份详尽的QMT实盘交易教程,手把手教你使用Python构建自动化交易系统。内容涵盖环境配置、账户连接、查询与下单等核心代码,并附有完整的源代码示例,帮助开发者快速掌握从零到实盘的完整流程,实现安全可靠的股票自动化买卖。

weixin_29214335的博客 443

Sled:轻量级、高性能的 Rust key-value 存储库

Sled 是一个用 Rust 编写的键值存储库,其设计目标是提供高速度和低延迟的数据处理能力。它利用先进的数据结构和Rust的安全特性,确保在保持效率的同时,也能够安全地管理持久化数据。Sled特别适用于那些对性能敏感的应用场景,如缓存系统、数据库底层存储等。 ## 项目快速启动 要快速启动并运行 Sled,首先确保你的开发环境已安装 Rust 工具链。接下来,遵循以下步骤: ### 添加依

gitblog_00488的博客 1240

Zynq远程更新程序实战:从emmc到flash的完整方案解析

本文详细解析了Zynq远程更新程序的完整方案,重点探讨了从emmc到flash的实战操作。通过硬件连接限制破解、emmc配置技巧、flash擦写策略优化等关键技术点,提供了可靠的远程更新解决方案,特别适合需要频繁更新boot.bin的应用场景。

weixin_29163797的博客 180

CMake入门教程【基础篇】在Windows、Linux上安装CMake

CMake如何下载与安装

小鱼酱的博客 2730

用Rust实现区块链 - 3 持久化

本系列是用Rust实现简单的区块链,包括区块和区块链,工作量证明,交易和UTXO集合,持久化,钱包及用rust-libp2p实现的点对点分布式网络。

Coding到灯火阑珊的专栏 2464

安装openclaw时出现npm error code ENOENT npm error syscall spawn git报错的解决方案

本文主要介绍了安装openclaw时出现npm error code ENOENT npm error syscall spawn git报错的解决方案,希望能对使用openclaw的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 12万+

rust嵌入式key/value数据库

文章目录种类介绍sled已知问题如何使用skade/leveldb如何使用dermesser/leveldb-rs如何使用rust-rocksdb如何使用性能测试对比插入不同的长度的key/valuemonotonic insert/get/removerandom insert/get/remove 种类介绍 类型 语言 star 简介 sled rust 4.6k 嵌入式数据库,beta尚未稳定 RocksDB c++ 19.4k facebook开源,在LevelDB之上做了改进

KK下山去买菜 5188

基于Python实现学习进度跟踪系统

{{ task }}: {{ "%.1f"|format(hours) }}小时

寒寒豆豆软件公司的博客 197

SCADA|用KingSCADA实现设备台账的查询功能

以上为用KingSCADA实现设备台账的查询功能,另外还有一些细节功能,比如当点击增加按钮时弹出的信息窗口内的信息希望是在选中的某行信息,只要找到差不多的设备,修改个别参数即可,避免增加时弹出空白页,所有信息都需要填写。以上为实现设备台账查询的最简单实现,实际项目中可能会更复杂,你做过哪些设备台账或相关的功能,有比较好的创意或高难度功能方法,欢迎在留言区评论,或在交流群探讨,互通有无,共同进步。首先完成界面的组态工作,主要是通过查询按钮,查询SQLServer数据库的设备台账数据,然后填充到报表内。

做有价值的事,积累有价值的笔记! 482

如何批量导出并备份微信公众号文章

wechat-article-exporter 是一个微信公众号文章批量导出与备份工具。它把某个公众号的历史文章连同图片、样式、音视频和评论一起抓下来,存成本地文件,其中 HTML 格式能完整还原原始排版。全程在浏览器里点完,不写代码。 ## 哪些情况你会用到它 - 📌 **本地留档,防文章下架**:你常看某个号的内容,担心哪天文章被删、账号被注销,手头没有副本。工具能把整栏文章存到本地;作

gitblog_00514的博客 783

YOLO11改进-注意力-引入自调制特征聚合模块SMFA

SMFA(自调制特征聚合模块): SMFA模块用于协同建模局部和非局部信息,它分为两个分支:一个是EASA(Efficient Approximation of Self-Attention,简化的自注意力分支),用于捕获非局部信息;另一个是LDE(Local Detail Estimation,局部细节估计分支),用于捕获局部细节。EASA通过对输入特征进行下采样,然后利用全局特征的方差进行调制,再与原始特征进行聚合,提取非局部结构信息。LDE分支则通过卷积操作提取输入特征中的高频局部信息。

qq_64693987的博客 2209

Databend 开源周报第 123 期

是 Rust 官方提供的代码检查工具,通过静态分析来发现问题或不符合规范的代码。通过配置文件,可以制定项目 Clippy 规则,统一代码开发规范,提供最佳实践指引。例如,可以使用下面的 lints 提示开发者使用来代替。

Databend的博客 962

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Bayard社区贡献指南:参与开源项目开发的完整流程与规范

Bayard是一个用Rust编写的高性能全文搜索和索引服务器,支持集群部署和分布式搜索。作为开源项目,Bayard社区欢迎开发者参与贡献,共同打造更强大的搜索解决方案。本文将为您详细介绍参与Bayard开源项目开发的完整流程与规范,帮助您快速融入社区并做出有价值的贡献。💪 ## 🎯 为什么选择Bayard进行贡献? Bayard作为现代化的全文搜索服务器,具有以下特点,使其成为理想的贡献项

gitblog_00663的博客 846

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

终极sled数据库教程:从基础API到架构原理的完整指南

sled是一个用纯Rust编写的高性能嵌入式数据库,被誉为"嵌入式数据库的香槟" 🍾。它提供了类似于`BTreeMap<[u8], [u8]>`的API,但具备完全线程安全性和原子操作特性,是构建状态系统的理想选择。 ## 🚀 快速入门与基础操作 ### 安装与配置 在你的Rust项目中添加sled依赖: ```toml [dependencies] sled = "1.0.0-alp

gitblog_00312的博客 1070

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

【Rust每周一库】sled - 嵌入式数据库

简介Sled是基于Bw树构建的嵌入式KV数据库,其API接近于一个线程安全的BTreeMap<[u8], [u8]>。而其Bw树的数据结构加上包括crossbeam-ep...

Rust语言学习交流 2840

ElasticSearch(一)API的使用

elasticsearch的API使用

qq_40358025的博客 228

企业如何同时管理用电安全、电能质量和节能降碳?从异常溯源看施耐德电气EEO的协同管理价值

通过整合电力运行信息,并结合EEO资产健康模块、EEO电能质量模块与EEO能碳管理模块,企业可以围绕设备、回路和负荷建立更连续的分析流程,使不同专业人员能够基于相互关联的数据开展判断。企业需要进一步核对异常出现的时间、涉及的配电回路、生产负荷变化以及设备运行状态,才能判断问题来自正常的生产调整、设备运行异常,还是需要采取措施的电能质量问题。从关键回路的异常排查入手,逐步完善设备数据、专业分析和治理验证流程,企业可以让用电安全、电能质量与节能降碳从分散的管理任务,转变为相互关联的日常运营工作。

科技,技术,行业类博主 191

机床CNC、工业机器人与包装物流需求带动:全球拖链以太网线缆市场2032年将达8.08亿美元

LP Information数据显示,2025年全球拖链以太网线缆市场规模约4.7亿美元,2026年预计5.07亿美元,2032年将达8.08亿美元,2026—2032年CAGR为8.1%,综合毛利率估算约36%。在工业设备通信接口从固定连接走向高速、实时和移动连接的背景下,机器人、数控机床、包装设备、机器视觉、物流搬运和自动化产线对高柔性、耐油耐磨、抗扭转、屏蔽性能和小弯曲半径线缆需求持续提升。

LPIHelen的博客 209

京东 Apache Doris 湖仓查询优化实践:从多引擎统一到百万级查询

京东基于 Apache Doris 构建统一湖仓查询引擎,支撑日均百万级查询与 PB 级数据扫描。深入解析 Presto、StarRocks 迁移、分区裁剪、Split 调度、向量化执行及 AI Agent 混合负载优化实践。

SelectDB 453

AI处理数据安全吗?

企业使用AI处理数据时,需划清高、中、低敏数据边界,将规则明确的清洗、关联等操作固化为本地脚本,仅将汇总指标交由模型生成报告,实现安全与成本双降。通过脚本复用、口径预定义、角色包导入,可减少90%以上重复调用,保障数据不出内网,输出可追溯。关键在“处理与生成分离”,以工具化设计替代临时对话,让效率与合规并行。

数据矿工-数据化运营博客 186

Datawhale Hello-Agents入门篇 202611 task0

智能体 = 感知 + 自主决策 + 行动 + 循环反馈。LLM 把"决策"这一环从"人写规则"换成了"模型推理",于是智能体能处理模糊的自然语言目标。一个系统提示词定格式 + 一个工具字典 + 一个 while 循环 + 一段正则解析。

weixin_44811994的博客 82

最新大数据毕业设计选题推荐-基于大数据的快餐营养摄入与运动消耗关联性分析与可视化-大数据-Spark-Hadoop-Bigdata

本文介绍《基于大数据的快餐营养摄入与运动消耗关联性分析与可视化》系统,采用Hadoop+Spark框架实现数据存储与计算,结合Python+Django与Java+Spring Boot双后端,通过MySQL存储数据,前端使用Vue+ElementUI+Echarts完成可视化。系统涵盖营养摄入、消费画像、运动消耗等分析功能,实现快餐订单数据与运动消耗的关联分析,为计算机专业毕业设计提供技术完整、可落地的大数据项目参考。文末可获取源码。

IT研究室的博客 291

数据建模正面对比:国外时序数据库怎么组织设备数据,Apache IoTDB 的树表孪生模型又怎么组织

本文对比InfluxDB、TimescaleDB、OpenTSDB、Prometheus与Apache IoTDB的数据模型,从设备层级、查询写法、Schema演进、高基数处理及AI适配等维度剖析其差异。国外方案多采用扁平标签或关系表模型,易导致高基数问题或建模复杂;IoTDB则提出“树表孪生模型”,以路径自然表达设备层级,支持原生目录遍历查询,更契合工业物联网场景,提升建模效率与查询灵活性。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 1万+

大数据与审计专业哪些证书企业比较认可?

大数据与审计专业选证书,首先要明确就业方向:是进入会计师事务所做财务审计,还是进入企业从事内部审计、风险控制,或向数据审计、信息系统审计发展。不同岗位看重的专业能力不同,证书的价值也应放在具体招聘要求中判断。面向2027年的求职与备考规划,值得重点考虑的有六类:初级会计专业技术资格、注册会计师、审计专业技术资格、CDA数据分析师、国际注册内部审计师和国际注册信息系统审计师。选择时,宜采用“财审基础+数据能力+岗位专长”的组合,而不是单纯追求持证数量。

YangYang9YangYan的博客 325
上一篇: Databend 开源周报第 86 期
下一篇: Meetup 回顾|Data Infra 研究社第十期(含资料发布)
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值