开源之夏 2023 | Databend 社区项目总结与分享

开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例_databend功能 Databend 是一个开源、云原生且实时分析型的现代数据仓库,旨在提供高效的数据存储和处理能力。它采用 Rust 语言开发,并支持 Apache Arrow 格式以实现高性能列式存储与查询处理。主要特点:云原生设计:Databend 构建在 Kubernetes 之上,具备弹性伸缩、水平扩展的能力,可轻松部署在公有云或私有云环境中。SQL 支持:Databend 具备完善的 SQL 查询功能,兼容 MySQL 协议,使得用户可以利用熟悉的 SQL 语法进行数据查询和处理。性能优化。 阅读详情

开源之夏是由中科院软件所“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动,旨在鼓励在校学生积极参与开源软件的开发维护,培养和发掘更多优秀的开发者,促进优秀开源软件社区的蓬勃发展,助力开源软件供应链建设。

官方网站 开源软件供应链点亮计划-开源之夏2023

在开源之夏 2023 活动中,Databend 社区共发布两个项目,一个顺利结项,并在开源之夏结业项目中进行展示,可以访问 开源之夏2023 - 结项公示 查看。

另一个项目未能按照时间计划推进相关工作,项目经由社区接手完成。

项目 1:实现 Databend UDF Server

该项目的主要目标是实现一个 Databend UDF Server,允许用户创建、删除和执行 UDF。

  • 撰写 UDF Server 的 RFC。
  • 实现一个 MVP,提供创建、删除和执行 UDF 的功能,并编写相关测试。
  • 使用 Python 或其他语言创建示例。

项目状态: 顺利结项

学生姓名: 陈传乐

跟踪问题: https://github.com/datafuselabs/databend/issues/12177

对应提交: https://github.com/datafuselabs/databend/pull/12729

相关介绍: 通过结合 Apache Arrow Flight API 实现 UDF Server ,用户可以使用自己喜爱的编程语言,来与 Databend 交互,从而拓展数据库的边界,实现更丰富和高效的数据工作流。文档位于:External Function | Databend 。

经过进一步研发迭代,目前 databend-udf 已经发布 Python SDK 至 PyPI ,下面是一个使用 UDF 机制实现计算最大公约数的示例:

from databend_udf import *

@udf(
    input_types=["INT", "INT"],
    result_type="INT",
    skip_null=True,
)
def gcd(x: int, y: int) -> int:
    while y != 0:
        (x, y) = (y, x % y)
    return x

if __name__ == '__main__':
    # create an external server listening at '0.0.0.0:8815'
    server = UDFServer("0.0.0.0:8815")
    # add defined functions
    server.add_function(gcd)
    # start the external server
    server.serve()

项目 2:使用 Prometheus 重构 Databend 的 Metrics 组件

使用 Prometheus(一个开源系统监控和警报工具包)重构 Databend 的 Metrics 组件。

另外,本项目需要开发一个基于 Prometheus 的 macro 框架,以简化添加新 Metrics 的过程。

项目状态: 由社区接手完成。

跟踪问题: https://github.com/datafuselabs/databend/issues/12635

对应提交: https://github.com/datafuselabs/databend/pull/12787

相关介绍: metrics-rs 为不同的可观测性方案构建了一个通用的抽象层,支持包括 statsd、prometheus、new-relic 等在内的多种工具,但是 metrics-rs 无法很好地支持直方图统计之类的指标。

如今,Prometheus 已成为可观测性领域的事实标准,使用原始的 Prometheus 客户端,而不是将指标推送给其他工具,会带来一些显而易见的好处:

  • 更好的性能:经过良好实现的观测指标的内存分配应该是 O(1) ,无需本地缓冲队列。
  • 减少抽象层:我们可以减少关于指标的抽象层,使代码路径更易于理解。
  • 更好的编码规范:目前我们在不同模块中有不同的指标标准实践,可以学习 Prometheus 社区的指标标准实践来统一我们的指标标准实践。

现在,Databend 的可观测性指标已经完全迁移到 Prometheus 实现,在保持原有指标几乎不变的情况下,带来了更全面、更可靠的可观测性体验。

结语

今年是 Databend 社区第二次参与开源之夏活动,很高兴能够在活动中遇到富有热情和智慧的同学们。

感谢所有参与项目的学生和社区成员的辛勤工作和付出! Databend 因你们而变得更加优秀。希望这些项目能够启发更多人参与到开源软件的开发中,并促进开源社区的繁荣和创新。

如果你对 Databend 或其他开源项目感兴趣,欢迎加入相关社区,贡献自己的力量,共同推动开源软件的发展!祝愿大家能够在开源世界继续汲取养分,成长为技术大牛,继续引领开源浪潮。

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

👨‍💻‍ Databend Cloud:https://databend.cn

📖 Databend 文档:Databend

💻 WeChat:Databend

✨ GitHub:https://github.com/datafuselabs/databend

法兰克仿真软件FANUC CNC Guide v25.0 安装教程及中文设置 下载地址在文末。我们公司用新到一批FANUC 系统的设备,为方便使用就装了一个 FANUC 数控系统仿真软件FANUC CNC Guide v25.0 ,还是最新版不是市面上流传的老版本。模拟学习一下。 阅读详情

相关推荐

ubuntu18.04 升级Ubuntu 20.04

Ubuntu 18.04升级20.04指南:首先备份重要数据,更新当前系统并检查新版本可用性(sudo do-release-upgrade -c)。确认升级后执行sudo do-release-upgrade,按提示完成操作。升级过程需耐心等待,完成后重启系统。注意:升级前务必备份数据,确保系统为最新版本,以降低风险。升级后即可使用Ubuntu 20.04系统。

https://ophome.blog.youkuaiyun.com,在IT行业有多年的工作经验,尤其是在Python、Linux、负载均衡、Nginx和服务器运维等领域。 1061

Databend 设计概述 | 白皮书

Databend 是一个开源的、完全面向云架构的新式数仓,它提供快速的弹性扩展能力,并结合云的弹性、简单性和低成本,使 Data Cloud 构建变得更加容易。 Databend 把数据存储在像 AWS S3 ,Azure Blob 这些云上的存储系统,可以使不同的计算节点挂载同一份数据,从而做到较高的弹性,实现对资源的精细化控制。 Databend 在设计上专注以下能力: 弹性 在 Databend 中,存储和计算资源可以按需、按量弹性扩展。 安全 Databend 中数据文件和网络传输都是端到端加密,

Databend的博客 1189

Xtract or Ucfyber的最条理的整理入门级教程

XTRACT可以对任意截面进行全过程截面分析。工程中常用来分析各种截面(如异形柱、组合截面等)的非线性特征点及承载力校核。 xtract主要思路也是根据各种材料本构关系,基于平截面假定,用fiber划分截面进行全过程非线性分析。......

→★佐佑思维★← 8408

Tapdata 和 Databend 数仓数据同步实战

Databend: 是新一代基于对象存储的弹性云数仓产品。地址:OpenDAL :是 Databend 中负责和底层存储打交道的一个组件,目前被 Rust 多数据库产品及 Rust sccache 中大量使用,估计不远的将来会成为一个多云对象存储支持最好的产品。地址:Openraft: 是 Databend 中负责 Databend Meta 中的集群组件,目前被 SAP 及 许多交易所使用。

Databend的博客 804

PLSQL 14.0.6 下载使用教程

众所周知,PLSQL 只是一个oracle第三方开发测试工具,它依赖oracle 客户端搭配使用,但是oracle 客户端有2G,相当庞大,不建议安装。所以我们如果下载安装好PLSQL,再下载好轻量级的支持远程链接的oracle客户端,这样搭配使用可以的话就最好了,答案是可以的。 第一步: PLSQL 下载与安装 PLSQL 14.0.6 下载地址 : https://www.allroundautomations.com/registered-plsqldev/ 下载下来,除了安装路径更改一下,

qq976511508的博客 2137

ESP32驱动MLX90640红外热成像传感器:从报错到成功运行的完整避坑指南

本文是一份详细的ESP32驱动MLX90640红外热成像传感器的实战指南。针对开发中常见的I2C通信失败、数据全零及‘坏点过多’等报错,文章提供了从环境搭建、驱动库选择与改造到实战代码解析的完整解决方案,并分享了数据滤波、热图生成及多任务优化等高级技巧,帮助开发者高效避坑,实现稳定运行。

weixin_29191669的博客 99

【活动回顾】Databend 云数仓与 Databend Playground 扩展组件介绍

Databend 是一款使用 Rust 研发的新一代云原生数据仓库,完全面向云架构并基于对象存储构建。它具备即时扩缩容能力,能够在数分钟内增加数百倍的算力,为企业提供了一个基于对象存储、湖仓一体化、计算和存储分离的大数据管理和分析集中式平台。实现了一份数据,统一计算入口,供多用种业务使用,从而助力企业更准确地洞察业务、制定战略,很好的满足了客户私有化部署的不同需求。

Databend的博客 959

STM32实战开发(99):基于STM32的智能交通灯控制系统设计与实现

随着城市化进程的加速和交通流量的不断增长,传统的交通灯控制系统已逐渐不能满足现代城市交通管理的需求。为了更好地提高交通效率、减少交通拥堵、降低事故发生率,智能交通灯控制系统成为了解决这一问题的重要途径。通过智能算法和自动化控制,智能交通灯控制系统能够根据实时交通流量和交通状况来自动调整红绿灯的切换,从而优化交通流和提高交通安全。STM32作为一款高性能的微控制器,具备较强的运算能力、丰富的外设接口和优良的功耗表现,非常适合用来设计和开发智能交通灯控制系统。

2201_76125393的博客 1222

Databend 开源周报第 91 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 669

基于STM32、HAL库的TPL0501数字电位器驱动程序设计

@param value 输出值(0-255)* @param hdev TPL0501句柄。* @param hdev TPL0501句柄。* @brief 获取TPL0501当前设置值。* @param hdev TPL0501句柄。* @brief 获取TPL0501当前设置值。* @brief 设置TPL0501输出值。* @brief 设置TPL0501输出值。* @return 当前值(0-255)* @brief 初始化TPL0501。* @brief 初始化TPL0501。

corlin6688的博客 1032

包成功安装tiny-cuda-nn,记录安装过程中的问题解决,附带pytorch3d安装【踩坑指南】

该包可以显著提高NeRF训练速度,是和NeRFstudio等框架中,必须使用的。本文提供tiny-cuda-nn可以安装的完整包的下载链接,可以直接上传到项目中安装。附带笔者遇到的问题的解决方案。

zik的博客 7032

SaaS 出海:Databend Cloud 的定位与实践

提到 “SaaS 出海”这个词大家肯定并不陌生,SaaS 企业将业务拓展到海外市场已经成为许多 SaaS 公司的重要战略方向。随着企业对于灵活性、可扩展性以及成本效益需求的不断增长, SaaS 模式提供了理想的解决方案。对于寻求出海机会的 SaaS 企业来说,全球化市场的巨大潜力尤为吸引人。在许多地区,尤其是发展中市场, SaaS 服务的普及率还远远没有饱和,这也为企业提供了非常广阔的成长空间。随着全球数字化转型的不断加速, SaaS 服务需求也在持续增长。

Databend的博客 1208

【CicadaPlayer】av_rescale_q 学习:转换PTS和Duration

参考 av_rescale_q()理解 大神时间基准的总结: AVPacket下的pts和dts以AVStream->time_base为单位(数值比较大),时间间隔就是AVStream->time_base。 大神:多种转换的总结 av_rescale_q用于计算Packet的PTS 如: if (pkt->pts != AV_NOPTS_VALUE) { pkt->pts = av_rescale_q(pkt->pts, m

突围 843

Databend v0.9.0 版本发布

而在 Fuse engine 的内部,我们也支持了除 Parquet 之外的新的 Storage Format — strawboat: https://github.com/sundy-li/strawboat。如果你对我们新版本功能感兴趣,欢迎来 https://github.com/datafuselabs/databend/releases/tag/v0.9.0-nightly 页面查看全部的changelog 或者 下载 release 体验。相较于 v0.8.0 版本,开发者们一共新增了。

Databend的博客 380

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

【活动回顾】Databend 数据库表达式框架设计与实现 @GOTC

现任 Databend 数据库的优化器研发工程师,主要负责 Databend 计算引擎的 SQL Parser、优化器、类型系统以及向量化执行框架的开发;之前在一家使用 Rust 开发的分布式数据库公司担任分布式事务的研发工程师。从 2015 年开始接触 Rust 这门语言。曾积极参与社区讨论并贡献了几个库,现如今这些库的下载量已经超过了百万。

Databend的博客 804

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

开源周报第 89 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 372

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

对话 Databend Labs 联合创始人王吟:大模型浪潮里,云数仓是宠儿 | 极新企服直播实录

大家好,我是 Databend 的联合创始人王吟,Databend 是一家开源 Data Cloud 服务商,核心团队成员来自 ClickHouse 社区、谷歌 Anthos、阿里云、青云等国内外知名互联网和云计算公司,团队在云原生数据库领域有着丰富的工程经验,研发人员分布在中、美两地,同时也是数据库开源社区活跃贡献者。Databend 在开源领域很多项目做了贡献,包括 ClickHouse、MySQL 内核、RadonDB 等。

Databend的博客 879

Rusty Tuesday :Rust 基金会一行来访 Databend Labs,共话技术创新!

在本次活动中,我们非常荣幸地邀请到了多位行业精英:Rust 语言的核心开发者 、 Rust 基金会的创始成员之一兼 Ferrous System 创始人 Florian Gilcher 、Simens 的资深开发者 Daniel Bovensiepen 与 Felix,斑马智行的 Frank 以及 Rust中文社区布道师张汉东先生,与Databend团队共同探讨和分享 Rust 的最新进展和应用实践。我们欢迎所有对 Rust 感兴趣的朋友加入我们的活动,共同推动 Rust 社区的持续发展。

Databend的博客 595

深挖程序员的喵,人一生有三次死亡

听过一个说法,说人的一生有三次死亡,第一次是心跳停止、呼吸消逝;第二次是举行葬礼,在社会上不复存在;第三次是世界上最后一个记得自己的人离去或把自己忘记,这时整个宇宙都不再和自己有关。我想多牧君的人生不说耀眼,但也绝对炙热,炙热到我们都不会忘记,有一个这样充满热情、热爱生活的人出现过,和我们交织在一起。

zdsx1104的专栏 1142

Meetup 回顾:存算引擎一体化建设

在大数据与人工智能时代,数据的生成和存储量呈指数级增长。企业面临着如何高效处理和分析海量数据的巨大挑战。在面对如此规模的数据时,数据库究竟该选择存算一体,还是存算分离架构?如何才能提升资源利用率、扩展性,降低运维成本,这是数据从业者都在思考的问题。 在第 20 期 Data Infra 研究社直播活动中,我们邀请到 Databend Labs 联合创始人-吴炳锡、OPPO 存储团队文件系统负责人, CubeFS Maintainer -常亮、OPPO 对象存储研发工程师, CubeFS ObjectSto

Databend的博客 777

Serverless 数仓技术与挑战 - 张雁飞|3306π

张雁飞,Databend Labs 联合创始人前阿里云数据库内核组早期成员、前青云数据库团队负责人。开源 Databend 项目主要负责人。Databend Labs 成立于 2021 年 3 月,是一家开源 Data Cloud 服务商,核心团队成员来自 ClickHouse 社区、谷歌 Anthos、阿里云等国内外知名互联网和云计算公司,团队在云原生数据库领域有着丰富的工程经验,研发人员分布在中、美两地,同时也是数据库开源社区活跃贡献者。公司的核心业务。

Databend的博客 209

活动回顾|首次 Cloudberry Database Meetup · 北京站成功举办

数据仓库解决了数据快速分析的需求,数据湖解决了数据的存储和管理的需求,而湖仓一体旨在无缝集成两者,促进数据自由流动,使用户能借数据仓库之力解数据湖分析之困,并依托数据湖管理能力提升数据价值。Cloudberry Database 通过其高效的 OLAP 查询引擎和 MPP 向量化分布式查询层,为湖上数据提供加速分析,并通过通过引入外部数据包装器(FDW)机制,支持多数据源联邦查询和数据整合,构建统一的数据分析平台,满足了企业对多样化数据处理和分析的需求,为构建企业级湖仓一体数据平台提供了强有力的支持。

m0_54979897的博客 610

001:一个快速、可嵌入、模块化的分析查询引擎

通过插件开发,我们能够极大地释放Typora的潜力,使其从一个优秀的Markdown编辑器进化为一个高度定制化的“写作操作系统”。回顾核心要点:从环境搭建、API学习到实战开发与性能优化。未来可能性:AI辅助写作集成、云同步插件、多人在线协作编辑等。行动号召:鼓励读者从一个小需求开始,动手开发自己的第一个Typora插件,共同丰富Markdown写作的工具生态。

343

突破 2048×2048 限制:开源豆包无水印下载插件深度解析

本文剖析了当前主流开源工具如何绕过豆包AI生成图片的水印限制,通过API逆向解析、网络请求劫持与页面元素重叠等技术,实现2048×2048高清无水印原图一键下载。重点推荐doubao-nomark等活跃项目,强调其支持图片视频批量下载、本地部署安全可控。同时提醒用户:工具依赖平台接口稳定性,存在失效风险,且仅限个人使用,商业用途需授权。建议优先自托管以保障隐私安全。

下载资源或查看教程前,请务必阅读置顶的《免责声明》 445

python开源好项目

优先看 cszmzh/taobao-data-analyze:它的 SpringBoot + Vue 架构与你最契合,可以帮你快速理解如何将 Python 的分析结果嵌入到你熟悉的全栈体系中。值得一看的点:它的 advisor.py 模块实现了具体的调价规则,比如“竞品价 < 本店售价 × 0.90 时建议降价”,你可以直接参考或修改这些业务逻辑。分析内容:使用百万级的淘宝用户行为数据集,进行 AARRR 模型分析、RFM 分析以及各个环节转化流失分析,正好对应了你提到的“看看用户在哪个环节流失了”。

在技术领域里形成深刻,全面的认识,知道来龙去脉,深入浅出的讲到实用点。 337

GitHub 开源趋势日报 | 2026-11-08

每日精选 GitHub Trending 热门项目,聚焦 AI 与大模型、Agent 智能体领域,带你用一篇文章看懂开源风向。

weixin_45631123的博客 477
上一篇: Databend 开源周报第 120 期
下一篇: Databend 开源周报第 121 期
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值