开源周报第 89 期

开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例_databend功能 Databend 是一个开源、云原生且实时分析型的现代数据仓库,旨在提供高效的数据存储和处理能力。它采用 Rust 语言开发,并支持 Apache Arrow 格式以实现高性能列式存储与查询处理。主要特点:云原生设计:Databend 构建在 Kubernetes 之上,具备弹性伸缩、水平扩展的能力,可轻松部署在公有云或私有云环境中。SQL 支持:Databend 具备完善的 SQL 查询功能,兼容 MySQL 协议,使得用户可以利用熟悉的 SQL 语法进行数据查询和处理。性能优化。 阅读详情

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

Databend v1.1 正式发布

Databend v1.1.0 已于 2023 年 4 月 14 日正式发布!这次发布标志着 Databend 自 1.0 版本以来的首次重大更新。

新版本有许多新功能,包括:

  • COPY INTO 现在具备 ETL 能力
  • 支持全部 TPC-DS 查询
  • REPLACE INTO
  • 窗口函数
  • 可视化工具集成:包括 Metabase , Redash 和 Grafana
  • Rust 驱动程序
  • AI 函数
  • AskBend - 知识库问答系统

如果你想要了解更多信息,请查看下面列出的资源。

新加的 AI 相关配置

Databend 添加了新的 AI 相关配置,允许使用不同的端点和模型。

这意味着它可以与其他服务轻松集成,包括 Azure OpenAI API 。此外,可以根据需要灵活配置对应的模型以平衡表现和成本。

| "query"   | "openai_api_base_url"                      | "https://api.openai.com/v1/"     | ""       |
| "query"   | "openai_api_completion_model"              | "text-embedding-ada-002"         | ""       |
| "query"   | "openai_api_embedding_model"               | "gpt-3.5-turbo"                  | ""       |

如果你想要了解更多信息,请查看下面列出的资源。

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

bendsql - Databend 原生命令行工具

以前我们已经介绍过 bendsql ,是一款用 Go 语言编写的 Databend 原生客户端。现在它正在用 Rust 语言重写,目前处于实验性阶段。

Rust 版本不仅支持 REST API,还支持 Flight SQL 。

bendsql> select avg(number) from numbers(10);

SELECT
  avg(number)
FROM
  numbers(10);

┌───────────────────┐
│    avg(number)    │
│ Nullable(Float64) │
├───────────────────┤
│ 4.5               │
└───────────────────┘

1 row in 0.259 sec. Processed 10 rows, 10B (38.59 rows/s, 308B/s)

我们期待很快与你分享更多 Rust 版本的更新!欢迎试用并给我们反馈。如果你想要了解更多信息,请查看下面列出的资源。

亮点

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • Databend 利用 RBAC 模型来保护您的数据。阅读 文档|访问控制特权 ,了解 Databend 中的全局权限和对象特定权限。
  • 添加 array_aggregate 函数并支持更多数组聚合函数,包括 stddev_samp 、stddev_pop 、stddev 、std、median 、approx_count_distinct 、kurtosis 和 skewness 。
  • 添加系统表 system.caches 来描述 Databend 中的缓存状态。
  • Databend 最近引入了 z3.rs 来解决约束问题。Z3 是微软研究院开源的定理证明器,通常用于解决 SMT 问题。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

发布提案:Nightly v1.2

Databend v1.2 计划于 5 月 15 日发布,预期包括以下功能:

TaskStatusComments
(Query) JSON indexing#6994IN PROGRESShigh-priority
(Query) Fulltext index#3915IN PROGRESShigh-priority
(Query+Storage) Merge Into#10174PLANhigh-priority
(Query)Window function#10810IN PROGRESS
(Query)Distributed COPY#8594PLAN
(Query)Lambda function and high-order functionsPLAN
(Storage) Fuse engine re-clusteringPLANhigh-priority
(Storage) Fuse engine segment treeIN PROGRESShigh-priority
(Storage) Fuse engine orphan data cleanupIN PROGRESShigh-priority
(Storage) Compress Fuse meta data#10265IN PROGRESShigh-priority
Embedding Model #10689IN PROGRESShigh-priority
Search optimization SQL framworkIN PROGRESS
Distributed group by with dictonaryIN PROGRESS
Add Column-Level dynamic data masking supportPLAN

发布计划可能会根据开发进度有一些调整。欢迎参与讨论并提供反馈。

Issue #11073 | Release proposal: Nightly v1.2

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 add doc about metasrv arg · Issue #4226 · datafuselabs/databend · GitHub 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:Releases · datafuselabs/databend · GitHub

Contributors

非常感谢贡献者们在本周的卓越工作。

 

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

Databend 的安装配置和使用 了解新型数据库,介绍 Databend 的安装配置和使用。 阅读详情

相关推荐

Github 2025-02-17 开源项目周报Top15

根据Github Trendings的统计,本周(2025-02-17统计)共有15个项目上榜。

老孙正经胡说 1701

Databend 设计概述 | 白皮书

Databend 是一个开源的、完全面向云架构的新式数仓,它提供快速的弹性扩展能力,并结合云的弹性、简单性和低成本,使 Data Cloud 构建变得更加容易。 Databend 把数据存储在像 AWS S3 ,Azure Blob 这些云上的存储系统,可以使不同的计算节点挂载同一份数据,从而做到较高的弹性,实现对资源的精细化控制。 Databend 在设计上专注以下能力: 弹性 在 Databend 中,存储和计算资源可以按需、按量弹性扩展。 安全 Databend 中数据文件和网络传输都是端到端加密,

Databend的博客 1189

Github 2024-03-25开源项目周报 Top14

根据Github Trendings的统计,本周(2024-03-25统计)共有14个项目上榜。

老孙正经胡说 976

Databend:下一代云数据仓库解决方案

Databend是一个用Rust语言开发的开源云数据仓库,旨在为大规模数据分析提供高性能、低成本的解决方案。作为Snowflake的替代品,Databend专注于快速查询执行和数据摄取,适用于复杂的大规模数据集分析。云原生架构: 与AWS S3、Azure Blob、Google Cloud等云存储服务无缝集成高性能: 基于Rust构建,采用先进的向量化执行技术成本效益: 设计用于可扩展的存储和计算,在提高性能的同时降低成本AI驱动分析: 通过AI函数支持高级分析数据简化。

2401_87458778的博客 1770

打工人救星!用OpenClaw自动写周报:日均节省2.3小时,完整Python脚本开源

自定义模板# 在config.yaml中指定report:核心收获:时间节省是真实的:日均2.3小时,一年就是500+小时质量提升是明显的:数据完整度从75%→96%员工满意度是高的:100%愿意继续使用实施成本是低的:1天部署,1周调优团队规模推荐方案预期收益<10人基础版(Git+任务)节省1.5小时/人/周10-50人标准版(+日历+邮件)节省2.0小时/人/周>50人企业版(+聚合+分析)节省2.5小时/人/周周报的本质不是"汇报",而是"复盘"。

2601_94871597的博客 362

4.3 GitHub开源监控神器:3小时周报缩至15分钟,AI实时分析效率暴涨6倍!

GitHub 数据采集, 需求分析框架, 技术可行性验证, 用户痛点拆解, 项目指标设计。

yonggeit的博客 3087

Databend 集群部署 | 新手篇(2)

,其中 databend-query 是计算节点,无状态模式,这种架构也有直接用于生产的。实际上生产环境推荐至少部署三个 databend-meta 组成集群,其中 databend-query 可以是一个节点,而且可做到不使用就关闭。如果你使用的是公有云上对象存储,就不用担心对象存储的高可用。下面我们描述一下 Databend 的集群环境搭建。在 Databend 集群中分为两个角色:databend-meta 集群和 databend-query 集群。

Databend的博客 823

Allegro模块复用:从原理图到PCB的完整流程与关键细节

本文详细介绍了Allegro模块复用从原理图到PCB的完整流程与关键细节,包括DSN和MDD文件的创建、模块调用的实战技巧以及双向同步与版本控制方法。通过标准化处理和高级复用技巧,能显著提升PCB设计效率,减少重复工作时间。适用于智能硬件和工业控制等领域的工程师。

weixin_30252709的博客 332

《安富莱嵌入式周报》第292期:树莓派单片机100M双通道示波器开源,MDK5.38发布,万用表单芯片解决方案,8通道±25V模拟前端芯片,开源贴片拾取电机板

《安富莱嵌入式周报》第292期:树莓派单片机100M双通道示波器开源,MDK5.38发布,万用表单芯片解决方案,8通道±25V模拟前端芯片,开源贴片拾取电机板

Simon223的博客 2233

CANoe_Demo_下载以及安装教程

CANoe Demo下载安装流程

Jar_Lee的博客 1万+

ADS软件操作(10)——DAC控件使用

该控件可以用于为元件定义随频率变换的参数,如放大器的最佳负载阻抗或者源阻抗,需要双频匹配时的优化等,下图是ADS中该控件的模型。

Zhuanzhuyan的博客 4417

IPFS周报-89期:IPFS又一重大里程碑,Testground v0.5

在IPFS上托管维基百科,还有多少秘密我们不能知道!

347

使用STM32微控制器实现光电传感器的接口和数据处理

本文将介绍如何使用STM32微控制器实现光电传感器的接口和数据处理的方案,包括硬件设计、引脚配置、数据采集、滤波和阈值判断等关键步骤,并给出相应的代码示例。本文将介绍如何使用STM32微控制器实现光电传感器的接口和数据处理的方案,包括硬件设计、引脚配置、数据采集、滤波和阈值判断等关键步骤,并给出相应的代码示例。在光电传感器的接口和数据处理的实现过程中,要关注系统的性能。在使用STM32微控制器实现光电传感器的接口和数据处理之前,需要设计一个合适的硬件平台。

weixin_66608063的博客 3206

第72期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区,集成了生成预训练Transformer(GPT)、人工智能生成内容(AIGC)以及大语言模型(LLM)等安全领域应用的知识。

m0_73736695的博客 1116

西门子1500T系列凸轮同步(CAMIN指令用法)

添加凸轮工艺对象(TO_CAM),也就是凸轮表。开始编程,先写2个轴的使能、回原点与主轴的定位。监控主轴与从轴的位置、速度关系是否满足实验要求。1.添加工艺对象(1个定位轴,1个同步轴)调用CAMIN指令 ,凸轮耦合。主轴为旋转轴且为模数轴。3.调用插补凸轮盘指令。4.仿真、监控、调试。

gyxgyx789的博客 1万+

从零开始跑通3DGS教程:(三)坐标系与尺度编辑(CloudCompare)

本文所属《从零开始跑通3DGS教程》系列文章; sfm重建的点云已经丢掉了尺度信息,并且坐标系跟图像数据有关(SFM初始化选择的图像),所以如果想恢复物理真实尺度,以及在想要的视角下渲染,那么需要对尺度和坐标系进行编辑修正,下文介绍如何使用CloudCompare修改坐标系和尺度

诺有缸的高飞鸟的博客 2872

Open-AutoGLM周报引擎实战指南(AI驱动办公新革命)

提升工作效率,告别手动整理周报。本文介绍基于Open-AutoGLM周报自动汇总的实战应用,适用于团队管理、项目汇报等多场景,通过AI智能提取关键进展与待办事项,实现高效自动化输出。操作简单,精准省时,值得收藏。

ProceGlow的博客 721

【网络安全】浅谈数据库攻击复现及相关安全优化

4、准备数据库服务器为了安全正式环境应该把数据库单独放一台服务器,只允许让应用服务器 IP 来访问数据库服务器,通过独立两者,就算其中一台发生问题,另一台也是好的,进一步降低了危险性。5、定时备份数据库开发定时备份功能,可以使用 Crontab,或者其他框架,设定周期备份数据,哪怕是数据丢失或被删除也可以快速恢复。

2401_88545587的博客 223

大数据技术周报第 009 期

这里记录过去一周,大数据相关值得分享的东西,每周日发布。 这是第 9 期分享,记录过去一周关于大数据的见闻,保证信息的质量和溯源。 文章目录技术一瞥文章资源订阅 技术一瞥 1.Kafka 最近发布3.0 官网Blog:https://blogs.apache.org/kafka/ I’m pleased to announce the release of Apache Kafka 3.0 on behalf of the Apache Kafka® community. Apache Kafka

程序员小陶的大数据分享 551

❤️爆肝十二万字《python从零到精通教程》,从零教你变大佬❤️(建议收藏)

文章目录强烈推荐系列教程,建议学起来!!一.pycharm下载安装二.python下载安装三.pycharm上配置python四.配置镜像源让你下载嗖嗖的快4.1pycharm内部配置4.2手动添加镜像源4.3永久配置镜像源五.插件安装(比如汉化?)5.1自动补码神器第一款5.2汉化pycharm5.3其它插件六.美女背景七.自定义脚本开头八、这个前言一定要看九、python入门十、python缩进十一、Python注释1.单行注释2.多行注释十二、Python 变量1.变量定义理解2. 变量名命名3. 分

全栈川川 26万+

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

OSCS开源安全周报第 56 期:Apache Airflow Spark Provider 任意文件读取漏洞

从时代发展的角度看,网络安全的知识是学不完的,而且以后要学的会更多,同学们要摆正心态,既然选择入门网络安全,就不能仅仅只是入门程度而已,能力越强机会才越多。因为入门学习阶段知识点比较杂,所以我讲得比较笼统,大家如果有不懂的地方可以找我咨询,我保证知无不言言无不尽,需要相关资料也可以找我要,我的网盘里一大堆资料都在吃灰呢。干货主要有:①1000+CTF历届题库(主流和经典的应该都有了)②CTF技术文档(最全中文版)③项目源码(四五十个有趣且经典的练手项目及源码)

wangluoanquan111的博客 1311

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

《安富莱嵌入式周报》第306期:开源独轮车,Cortex-M85修订版r1发布,Terathon图形数学库,不断变革的IDE开发环境,各个厂家总动员

《安富莱嵌入式周报》第306期:开源独轮车,Cortex-M85修订版r1发布,Terathon图形数学库,不断变革的IDE开发环境,各个厂家总动员

Simon223的博客 3557

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

AI周报系统设计:面向决策的72小时生产流程

AI周报已从信息简报演进为面向技术决策支持的知识交付系统。其核心在于将AI领域动态与工程实践深度耦合,依托可信信源过滤、可验证事实核查、结构化内容建模等机制,实现从海量信息到可执行判断的转化。关键技术价值体现在时效性约束(如‘Before Monday’认知窗口)、颗粒度控制(如延迟/内存/许可证等量化指标)与风险标注协议(已验证/待复现/仅概念验证),支撑CTO、MLOps工程师及投研人员在模型选型、合规评估与部署决策等关键场景中快速响应。本文详解一套经37期迭代验证的AI Newsletter生产体系。

chudan0503的博客 358

AI技术周报的工程化实践:可验证性驱动的筛选与复现

AI技术周报本质上是一种面向工程决策的信息服务,其核心价值不在于信息广度,而在于可验证性——即代码可跑、数据可复现、影响可定位。这种以实操为导向的设计逻辑,源于对开源复现门槛、产业信号识别等现实瓶颈的深度响应。它将论文、开源项目与基础设施演进统一纳入‘可执行’框架,使技术传播真正服务于模型部署、推理优化和MLOps落地等高频场景。本文聚焦2021年9月这一关键临界点,解析如何构建具备时间精度、版本可控与行动指令明确的技术情报系统。

weixin_33724046的博客 528

Taro 周报 #7: 收获「e代驾」案例,发布 v2.2.16 和 v3.2.0-canary.2

Taro 周报 2020 年 12 月 05 日 - 2020 年 12 月 12 日 ,更多的Taro周报点击 Taro 大事件 58 技术发布文章《开源 | Taro 3 支持 React Native》 Taro 3 发布后暂不支持 React-Native 平台,于是我们向社区提交了一份实现草案,希望把 58 在 React-Native 上的技术积累分享到社区,同时也从社区对 Taro 的共建上获益。 Taro 2 发布 v2.2.16 [修复] H5 路由地址替换错误 [修复] 修复插件.

凹凸实验室 878
上一篇: Databend v1.1 版本发布!
下一篇: 多云转晴:Databend 的天空计算之路
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值