Databend 开源周报第 102 期

Github 2024-07-04 开源项目日报Top10 根据Github Trendings的统计,今日(2024-07-04统计)共有10个项目上榜。 阅读详情

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

为指定列创建 Bloom Index

创建 bloom index 将会消耗大量 CPU 资源。对于仅有少数列涉及点查或者对数据摄入性能比较看重的宽表来说,为所有列都创建 bloom index 可能不是什么好选择。

Databend Fuse Engine 新增对 bloom_index_columns 选项的支持,这意味着你可以按需为指定列创建 bloom index ,从而达到查询性能和数据摄入性能之间的平衡。

创建带有 bloom index 的表:

CREATE TABLE table_name (
  column_name1 column_type1,
  column_name2 column_type2,
  ...
) ... bloom_index_columns='columnName1[, ...]'.

为现存的表创建或修改 bloom index :

现有的 bloom index 选项将被新选项替换,另外,不会为现有数据创建 bloom filter 。

ALTER TABLE <db.table_name> SET OPTIONS(bloom_index_columns='columnName1[, ...]');

禁用 bloom index :

ALTER TABLE <db.table_name> SET OPTIONS(bloom_index_columns='');

如果您想了解更多信息,请查看下面列出的资源。

理解 SQL 一致性

Databend 的设计目标之一是符合 SQL 标准,特别是支持 ISO/IEC 9075:2011 ,也称为 SQL:2011 。虽然目前不是完全百分百符合,但 Databend 已经包含许多 SQL 标准所要求的特型,只是在语法或函数上存在一些轻微差异。

我们最近在文档中添加了一篇摘要,介绍了 Databend 符合 SQL:2011 标准的程度,希望它能帮助你进一步了解 Databend 的 SQL 语法。

如果你想要了解更多信息,请查看下面列出的资源。

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

了解 Databend 重聚类 Pipeline

经过良好聚类的表在某些存储块中仍然可能会变得混乱,从而对查询性能产生负面影响。例如,该表会继续进行 DML 操作(INSERT / UPDATE / DELETE)。

重聚类操作并不是从头开始对表再次聚类,而是基于聚类算法的计算来选择并重新组织现存最混乱的存储块。

重聚类的 pipeline 如下图所示:

┌──────────┐     ┌───────────────┐     ┌─────────┐
│FuseSource├────►│CompoundBlockOp├────►│SortMerge├────┐
└──────────┘     └───────────────┘     └─────────┘    │
┌──────────┐     ┌───────────────┐     ┌─────────┐    │     ┌──────────────┐     ┌─────────┐
│FuseSource├────►│CompoundBlockOp├────►│SortMerge├────┤────►│MultiSortMerge├────►│Resize(N)├───┐
└──────────┘     └───────────────┘     └─────────┘    │     └──────────────┘     └─────────┘   │
┌──────────┐     ┌───────────────┐     ┌─────────┐    │                                        │
│FuseSource├────►│CompoundBlockOp├────►│SortMerge├────┘                                        │
└──────────┘     └───────────────┘     └─────────┘                                             │
┌──────────────────────────────────────────────────────────────────────────────────────────────┘
│         ┌──────────────┐
│    ┌───►│SerializeBlock├───┐
│    │    └──────────────┘   │
│    │    ┌──────────────┐   │    ┌─────────┐    ┌────────────────┐     ┌─────────────────┐     ┌──────────┐
└───►│───►│SerializeBlock├───┤───►│Resize(1)├───►│SerializeSegment├────►│TableMutationAggr├────►│CommitSink│
     │    └──────────────┘   │    └─────────┘    └────────────────┘     └─────────────────┘     └──────────┘
     │    ┌──────────────┐   │
     └───►│SerializeBlock├───┘

如果你想要了解更多信息,请查看下面列出的资源。

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

用物化加速 CTE

内联公共表表达式(Common Table Expression,CTE)能够满足大多数情况,但是如果 CTE 像 TPCH Q15 那样比较重,那么完成查询的代价可能会非常高。在这类情况下,最好引入物化来加速 CTE 。

--- TPCH Q15
WITH revenue AS
  (SELECT l_suppkey AS supplier_no,
          sum(l_extendedprice * (1 - l_discount)) AS total_revenue
   FROM lineitem
   WHERE l_shipdate >= TO_DATE ('1996-01-01')
     AND l_shipdate < TO_DATE ('1996-04-01')
   GROUP BY l_suppkey)
SELECT s_suppkey,
       s_name,
       s_address,
       s_phone,
       total_revenue
FROM supplier,
     revenue
WHERE s_suppkey = supplier_no
  AND total_revenue =
    (SELECT max(total_revenue)
     FROM revenue)
ORDER BY s_suppkey;

Issue #12067 | Feature: speed up CTE by materialization

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 Enum datatype support · Issue #3328 · datafuselabs/databend · GitHub 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:Releases · datafuselabs/databend · GitHub

Contributors

非常感谢贡献者们在本周的卓越工作。

图片

 

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

 

Github 2024-07-15 开源项目周报 Top15 根据Github Trendings的统计,本周(2024-07-15统计)共有15个项目上榜。 阅读详情

相关推荐

Github 2024-11-25 开源项目周报 Top15

根据Github Trendings的统计,本周(2024-11-25统计)共有15个项目上榜。

老孙正经胡说 1111

【亲测免费】 基于Flask的开源周报系统——WeeklyReport

WeeklyReport 是一个基于 Flask 的开源周报系统。该项目主要使用 Python 语言开发,通过 Flask 框架实现了周报的创建、管理、查看等功能。WeeklyReport 支持快速 Docker 部署,使得用户可以轻松地在自己的服务器或云平台上搭建和使用。 ## 2. 项目核心功能 - **周报创建与提交**:用户可以创建并提交自己的周报,包括本周工作总结、下周工作计划等内容...

gitblog_01003的博客 889

Github 2025-06-30 开源项目周报 Top11

根据Github Trendings的统计,本周(2025-06-30统计)共有11个项目上榜。

老孙正经胡说 777

5分钟快速部署:基于Flask的开源周报系统完整指南

还在为团队周报管理头疼吗?WeeklyReport是一个基于Flask的开源周报系统,能够帮助团队快速建立规范的周报制度。这个系统支持多角色权限管理、邮件提醒功能,并且通过Docker实现一键部署,让周报管理变得简单高效。 ## 🚀 快速上手:5分钟完成部署 ### 环境准备与一键启动 只需确保系统已安装Docker和Docker Compose,就能快速启动整个系统: ```bash

gitblog_01044的博客 495

Github2024-05-20 开源项目周报 Top15

根据Github Trendings的统计,本周(2024-05-20统计)共有15个项目上榜。

老孙正经胡说 798

Github 2024-09-16 开源项目周报 Top14

根据Github Trendings的统计,本周(2024-09-16统计)共有14个项目上榜。

老孙正经胡说 1749

Databend 开源周报第 141 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 838

Github 2024-12-09 开源项目周报 Top15

根据Github Trendings的统计,本周(2024-12-09统计)共有15个项目上榜。

老孙正经胡说 849

Databend 开源周报第 145 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 831

Github 2024-06-10开源项目周报 Top15

根据Github Trendings的统计,本周(2024-06-10统计)共有15个项目上榜。

老孙正经胡说 1593

基于OpenClaw的自动化工作内容分析与周报日报生成系统研究

本文探讨了基于OpenClaw框架构建自动化工作内容分析与报告生成系统的设计与实现。该系统旨在解决传统周报日报编写方式存在的效率低下、格式不统一、内容质量参差不齐等问题。系统采用分层架构设计,包含数据采集层、处理层、分析层和报告生成层,支持从Git、任务管理系统等多源自动采集数据,并通过自然语言处理技术实现工作内容的智能分析与高质量报告生成。研究重点分析了系统面临的挑战,包括多源数据整合、语义理解、性能优化等关键技术问题,并提出了相应的解决方案。该系统可显著提升企业工作效率和管理水平,实现工作内容的自动化分

一键难忘的博客 1019

开源开发工具周报(OSDT Weekly)使用教程

开源开发工具周报(OSDT Weekly)使用教程 1. 项目介绍 开源开发工具周报(OSDT Weekly)是由HelloGCC及HelloLLVM社区发起和维护的摘要类周刊。该周刊旨在为开发人员提供关于GCC、LLVM、GDB、Binutils、TVM、QEMU等常用开源项目的最新动态、技术文章和社区消息。周刊每周三晚上更新,内容通过Git仓库托管在HelloGCC的GitHub账号上,欢迎读...

gitblog_00519的博客 532

打工人救星!用OpenClaw自动写周报:日均节省2.3小时,完整Python脚本开源

自定义模板# 在config.yaml中指定report:核心收获:时间节省是真实的:日均2.3小时,一年就是500+小时质量提升是明显的:数据完整度从75%→96%员工满意度是高的:100%愿意继续使用实施成本是低的:1天部署,1周调优团队规模推荐方案预期收益<10人基础版(Git+任务)节省1.5小时/人/周10-50人标准版(+日历+邮件)节省2.0小时/人/周>50人企业版(+聚合+分析)节省2.5小时/人/周周报的本质不是"汇报",而是"复盘"。

2601_94871597的博客 362

OS开源项目周报0105

出品的iOS开源项目周报第四期来啦。iOS开源周报集合了OpenDigg一周来新收录的优质的iOS开发方面的开源项目,方便iOS开发人员便捷的找到自己需要的项目工具等。能够插入到UIScrollView实例中的UI组件。Swift项目配置编译时间的命令行实用工具。基于SKTagView的技能选择的View。仿Apple的照片应用的UI组件库。引入多选照片并引用照片的功能模块。高性能动态gif表情聊天方案。独特的信用卡输入验证控件。配合UIFont快速工作。类型安全的键值数据缓存。酷炫的iOS动画引擎。

lmrylll的博客 787

大疆航线文件解析指南:5分钟搞懂KMZ里的template.kml和waylines.wpml区别

本文深入解析大疆无人机航线文件KMZ中template.kml与waylines.wpml的核心区别。template.kml是定义任务框架和全局参数的可编辑模板,而waylines.wpml是包含精确执行指令的最终文件。理解两者差异对于高效规划航线、批量生成任务及进行二次开发至关重要。

sun99的博客 870

一步一步搭建S32K14x的AutoSar项目----MCAL工程创建及说明

一步一步搭建S32K14X的Autosar项目--MCAL工程创建及说明

wo580231的博客 2500

【亲测免费】 开源项目《每周报告》(WeeklyReport) 使用指南

--- ## 项目目录结构及介绍 **GitHub仓库**: [https://github.com/CodingCrush/WeeklyReport.git](https://github.com/CodingCrush/WeeklyReport.git) 本开源项目《每周报告》设计用于便捷地创建和管理个人或团队的周报。其结构布局精心规划,以支持高效的内容组织。 ``` WeeklyRe...

gitblog_00183的博客 943

Spine动画在Unity里卡顿、闪烁、排序错乱?这些性能优化与渲染问题一次讲清

本文深入解析了Spine动画在Unity中常见的卡顿、闪烁和排序错乱问题,提供了全面的性能优化与渲染解决方案。从性能瓶颈诊断到材质合并、动态合批优化,再到层级错乱与Alpha闪烁的处理,帮助开发者提升动画表现和运行效率。特别针对Unity和Spine的协同工作进行了详细的技术探讨。

weixin_29967445的博客 383

OSCS开源安全周报第 56 期:Apache Airflow Spark Provider 任意文件读取漏洞

OSCS 社区共收录安全漏洞 3 个,公开漏洞值得关注的是 Apache NiFi 连接 URL 验证绕过漏洞(CVE-2023-40037)、PowerJob 未授权访问漏洞(CVE-2023-36106)、Apache Airflow Spark Provider 任意文件读取漏洞(CVE-2023-40272) 针对 NPM 、PyPI 仓库,共监测到 81 个不同版本的毒组件,其中 NPM 组件包 mall-front-babel-directive 等携带远控木马,该系列的组件包具有持续性威胁行为

OSCS开源安全社区 2111

炉石传说游戏系统拆解和部分系统分析

一.游戏综述 《炉石传说:魔兽英雄传》是一款由暴雪娱乐公司出品的策略类卡牌游戏。中国大陆地区的独家运营由网易公司代理。2014年3月13日全球同步正式运营。游戏背景设定于暴雪的魔兽系列,共十位魔兽中的角色作为十种不同的职业。而玩家要做的,就是根据己方现有的卡牌组建合适的卡组,指挥英雄,驱动随从,施展法术,与游戏好友或素不相识的对手一决高下。 二.游戏系统拆解图 三.游戏系统部分分析 1. 对战系统 (1)战斗准备 炉石传说开始前都需要配置至少30张卡牌作为出战卡组 .....

Jimmy72236的博客 4928

华为OD机试真题 新系统2026-04-01 C语言 实现【勇攀数字高峰】

请你在给定的数字地形图中寻找登山路径,数字代表当前位置的海拔高度,要求从最低海拔出发,不断攀登,最终到达最高山峰。你需要寻找所有满足条件的登山路径。地图已经保证最低海拔和最高山峰都只有一个。

MISAYAONE的博客 294

开源技术周报三期

我就一直在想这个是什么东西,从字面意思理解,就是收养个锁,去msdn搜了搜,msdn是这样解释的,我也没看懂,后来看了几篇博客,大概理解了。分布式缓存非常适合使用 GPU 集群进行深度学习模型训练的场景,通过把训练数据集缓存到集群所有节点的内存或 SSD 中,提供高性能的数据访问能力,让 GPU 不会因为数据读取太慢而闲置。JuiceFS 客户端的缓存默认是单机独享的,但当大量客户端需要反复访问同一个数据集时,可以开启「分布式缓存」功能,让大量客户端共享同一批缓存数据,有效提升性能。

一叶舟的专栏 789

基于语义分割的实时建图:HDMap动态更新

基于语义分割的实时建图:HDMap动态更新​ ,人工智能,计算机视觉,大模型,AI,本文围绕基于语义分割的实时建图技术在HDMap动态更新中的应用展开,介绍了语义分割基础、HDMap概述、相关实时建图技术、动态更新关键技术、系统性能评估指标、实际应用案例、面临的挑战与解决方案及未来发展趋势。阐述了该技术如何利用传感器数据和语义分割算法,解决传统HDMap构建与更新的弊端,分析了其在精度、实时性、鲁棒性等方面的表现,以及在自动驾驶和智能交通中的应用,还探讨了现存问题及未来优化方向。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 22万+

Databend 开源周报 #67

或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!与使用其他格式文件类似,在 SQL 语句中唯一需要特别关注的是指定 “format” 选项为 “XML”。地址:https://github.com/datafuselabs/databend/releases。在 #8610 合并后,Databend 现在支持设定 “collation” 来选择字符串的编码。遇到你可能会感兴趣的问题,欢迎试着解决它。

Databend的博客 469

SAP 系统间 SSO 的真正价值,从 SM59 到可信 RFC 的安全设计

SAP S/4HANA系统间Single Sign-On(SSO)的核心价值在于集中管理通信身份与信任关系,而非仅减少密码输入。传统固定账号密码方式在系统规模扩大后会面临密码管理、审计追踪等挑战。通过SM59配置可信RFC目标系统,结合SSL证书或SAP Trusted System等强认证机制,能有效降低安全凭据暴露风险。SSO配置需配合授权对象、角色管理等建立清晰的信任边界,实现系统间安全通信的同时保持可审计性。这种方案特别适用于Fiori前端与S/4HANA后端等场景,通过可信RFC传递用户身份,避免

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1066

华为OD新系统机试真题 4.26 -最大化游戏试玩资格分发

华为OD机试新系统真题【最大化游戏试玩资格分发】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD新系统机试 4月26号真题【最大化游戏试玩资格分发】。

qq_45776114的博客 833
上一篇: 官宣!Databend Cloud 和青云科技达成合作
下一篇: Databend 开源周报第 103 期
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值