从 Icelake 到 Iceberg Rust

用51单片机和LD3320语音模块DIY一个会说话的温度报警器(附完整代码) 本文详细介绍了如何使用51单片机和LD3320语音模块DIY一个智能温度报警器,包括硬件选型、电路设计、软件开发及核心功能实现。通过DS18B20温度传感器和语音模块的结合,实现温度超标时的语音报警功能,适合智能家居系统等应用场景。附完整代码,方便开发者快速复现。 阅读详情

本文作者丁皓是Databend 研发工程师,也是 ASF Member, Apache OpenDAL PMC Chair ,主要研究领域包括存储、自动化与开源。

太长不看

Icelake 已经停止更新,请改用 iceberg-rust。 Iceberg-rust 是一个由社区驱动的项目,所有 Icelake 的贡献者都已转向该项目。它涵盖了 Icelake 之前提供的所有功能,并且是 Apache Iceberg 的官方实现版本。

引言

我将分享 icelake 和 iceberg-rust 背后的历史。这篇文章将记录一个开放社区是如何运作的:人们因共同的目标而团结,共同努力。这是开源最初的力量,也总是吸引我的地方。

Iceberg 是一种用于巨大分析表的高性能格式。它在全球范围内被广泛使用,并且几乎所有查询引擎都支持它。用户可以编写 SQL 来从存储在对象存储服务中的 Iceberg 表查询数据,无需首先将其导入数据库。 长期以来,Iceberg 缺少官方 Rust 实现,这就是我们故事开始的地方。

Icelake In Databend

我们在 Databend 内部已经讨论了很多次关于支持开放表格格式的话题,我对此非常感兴趣,尤其是 Iceberg。市面上有一些 Iceberg 的绑定存在,但都还未完全准备就绪。因此,我决定启动自己的项目叫做 Icelake。icelake 的主要理念是构建一个开放的湖仓实现方案,能够与任何表格格式兼容,包括 Iceberg、Hudi 和 Delta。

这个项目由Databend Labs赞助。我们最初将专注于支持Iceberg。

多亏了详尽的Iceberg表格规范,我用了大约一周的时间来实现Iceberg规范。在此过程中,我深入了解了表格格式是如何运作的。我已经成功地让Databend支持起了Iceberg表的读取操作!

Icelake With RisingWave

在ASF,我们常强调Community Over Code。创建了一个工作示范后,我的首要任务是找到另一位用户。幸运的是,我发现RisingWave也在开展Iceberg支持的工作。他们已经使用了Apache OpenDAL,因此我们与RisingWave有了一些联系。我直接联系他们,讨论了icelake,并邀请他们加入开发。 这就是我如何遇见Renjie的。我们俩都怀揣着用rust重写大数据生态系统的愿景。能够与他合作让我感觉非常棒。经过几次讨论后,Renjie 决定将icelake整合到RisingWave中。他和ZENOTME加入了icelake项目成为维护者,在那里他们修复了众多bug并增加了写入支持。随后,RisingWave实现了基于icelake的Iceberg sink功能。

Born of Iceberg Rust

在icelake的开发过程中,社区的一些人也认识到了为Iceberg提供原生Rust支持的必要性。Brian Olsen 发起了关于 Rust支持 的讨论。维护一个 Iceberg Rust实现的 Jan Kaul 加入讨论,并强调了icelake的存在。他还提到: It was a great timing to start a rust project in the official apache iceberg repository that we can all work on together. 随后,讨论转移到了 iceberg slack,更多的Iceberg PMC成员和提交者加入了进来。Jan Kaul邀请Renjie和我加入关于Iceberg的对话——非常感谢! 我们花了一些时间讨论仓库位置,并举行了一次在线会议。我们遇见了Jan Kual和Fokko。能够与有着相同目标的人建立联系真是太有意义了。尽管我们以前从未见过面,但共同的目标使我们能够有效地合作。这是开源社区美好的一面! 会议结束后不久,Fokko帮助我们建立了#rust Slack频道 和 iceberg-rust仓库。iceberg rust 项目正式启动,在我的生日(7月20日,考虑到时区变化)这一天。

Grow of Iceberg Rust

在建立了Iceberg Rust仓库之后,我们设定了贡献工作流程、CI操作和发布脚本,还添加了完整的规范实现和Arrow集成。 随着开发的进展,更多人加入了我们的团队,包括marvinlanhenke、sdd、viirya、odysa,以及其他30位!不到一年时间,我们吸引了43名贡献者,并进行了官方ASF发布。Renjie 被授予首位来自Iceberg Rust项目的Iceberg提交者荣誉。他还代表该项目出席了第一届Iceberg峰会:将Apache Iceberg带入Rust世界!

Sunset of Icelake

在撰写本文时,Iceberg Rust已覆盖icelake之前提供的所有功能,并现已成为Apache Iceberg的官方实现。一些主要使用icelake的用户已经或正在转向Iceberg Rust。

是时候逐步淘汰icelake项目,为Iceberg Rust让路了。我代表所有icelake提交者宣布,我们已正式结束了icelake项目。它将不再维护,所有当前用户现在应迁移到Iceberge Rust。 感谢所有参与和使用icelike的贡献者及用户;能够得到你们的支持是极大的荣幸。

Future of Iceberg Rust

目前,Iceberg Rust 社区正在开发 0.3 版本。这个版本将包括大部分用户需要用来读写 Iceberg 表的功能。我们鼓励所有对使用 Rust 操作 Iceberg 感兴趣的人尝试此版本,并为我们提供反馈。

在下一个版本中,我们将整合对 DataFusion 的原生支持,并增强与其他查询引擎连接 Iceberg 的体验,例如Databend。也许我们可以探索支持 iceberg-nodejs 或 iceberg wasm 的新领域。有许多有趣的领域等待我们去发现! 总结

就这些了。感谢大家帮助构建 iceberg-rust。我期待在这一领域做出更多贡献。如果你也感兴趣,请随时联系我;我很乐意提供帮助。

学习STM32的流体水位传感器 引言: 流体水位传感器是一种常用于测量液体水位的设备,广泛应用于水位监测、液位控制和流量计量等领域。STM32是一款功能强大的单片机,具有丰富的外设和灵活的编程能力,非常适合用于流体水位传感器的开发。本文将介绍如何使用STM32开发板与流体水位传感器进行连接和通信,并通过编写代码实现水位的测量和显示。五、总结: 通过以上的代码示例,我们可以实现使用STM32开发板与流体水位传感器进行连接和通信的功能。三、编写代码: 以下是使用STM32CubeIDE编写的示例代码,实现了读取流体水位传感器的功能。 阅读详情

相关推荐

Windows 11/10系统盘被BitLocker锁了别慌!手把手教你用manage-bde命令找回密钥并解锁

本文详细介绍了当Windows 11/10系统盘被BitLocker锁定后的恢复方法,重点讲解了如何使用manage-bde命令行工具找回密钥并解锁加密驱动器。通过进入Windows恢复环境、诊断锁定状态、提取恢复密钥ID以及执行解锁操作等步骤,帮助用户有效解决BitLocker锁定问题,同时提供了后续防护优化建议和高级故障排除技巧。

weixin_42542669的博客 1466

LlamaGen核心架构解析:从图像分词器到GPT模型的完整流程

LlamaGen是一个基于自回归模型的图像生成项目,它采用了创新的架构设计,通过结合图像分词器和GPT模型实现高效的图像生成。本文将详细解析LlamaGen的核心架构,从图像分词到最终图像生成的完整流程,帮助读者深入理解这一强大的图像生成系统。 ## 图像生成的新范式:自回归模型的崛起 传统的图像生成方法如扩散模型虽然取得了显著成果,但在生成速度和效率方面仍有提升空间。LlamaGen采用了自

gitblog_01126的博客 584

深入剖析一个卷积块(ConvBlock)

深入剖析一个卷积块(ConvBlock)

qq_45670407的博客 1927

Apache Iceberg Rust实现指南

Apache Iceberg Rust实现指南 项目介绍 Apache Iceberg 是一种开放的表格式,旨在提供大规模数据表的高效管理和查询能力。Iceberg Rust 是 Iceberg 的 Rust 语言实现,它允许开发者在 Rust 应用中无缝地访问和操作 Iceberg 表。该项目集成了 DataFusion,增强了对数据分析的支持,提供了强大的表处理能力,适合于大数据处理场景,尤其...

gitblog_00567的博客 1137

AI与Agent赋能下的软件测试变革:面向未来测试工程师的工作方法论

AI Agent 软件测试 测试 software testing test

测试技师的自我修养 1241

ISMN数据处理

可批量下载,十分方便

m0_46268055的博客 1217

如何用BlackHole重塑你的Mac音频工作流:从零延迟到专业级音频路由

你是否曾为Mac上不同应用间的音频传递而烦恼?无论是音乐制作人需要在Logic Pro和Zoom之间无缝切换,还是播客主播想要将Audition的音频实时传输到OBS,传统方式往往伴随着复杂的设置和明显的延迟。BlackHole正是为解决这些问题而生的macOS虚拟音频环回驱动,它让你在应用程序之间传递音频时实现零延迟,彻底改变你的音频工作流。 想象一下这样的场景:你在Final Cut Pro

gitblog_00716的博客 420

PCIE2.0/PCIE3.0/PCIE4.0/PCIE5.0接口的带宽、速率计算

一、PCIE接口速率: 二、PCIE相关概念: 传输速率为每秒传输量GT/s,而不是每秒位数Gbps,因为传输量包括不提供额外吞吐量的开销位; 比如 PCIe 1.x和PCIe 2.x使用8b / 10b编码方案,导致占用了20% (= 2/10)的原始信道带宽。 GT/s —— Giga transation per second (千兆传输/秒),即每一秒内传输的次数。重点在于描述物理层通信协议的速率属性,可以不和链路宽度等关联。 Gbps —— Giga Bits Per Second

技术联盟 1万+

探索未来数据处理的基石:Apache Iceberg Rust

探索未来数据处理的基石:Apache Iceberg Rust Apache Iceberg 是一个流行的数据表格式,它以其高效、可扩展和面向云的设计在大数据领域赢得了赞誉。现在,随着 Apache Iceberg Rust 的诞生,这个强大的数据管理框架迎来了纯 Rust 实现的时代。 项目介绍 Apache Iceberg Rust 提供了对 Iceberg 核心特性的原生支持,包括目录管理、...

gitblog_00081的博客 396

YOLO26训练自己的数据集,从代码下载到实例测试 (含YOLO26网络结构图)

在Windows10上配置CUDA环境教程2026年1月14日,YOLO26是最新发布的计算机视觉模型。支持多种任务,包括目标检测、实例分割、图像分类、姿态估计、有向目标检测以及物体跟踪等。以上就是YOLO26训练自己数据集的全部过程啦,欢迎大家在评论区交流~

Limiiiing的博客 6601

手把手教你学Simulink--基于高频与高速信号处理的滤波器场景实例:毫米波雷达中匹配滤波器的多目标分辨仿真

在自动驾驶、智能交通和工业感知等领域,毫米波雷达(mmWave Radar)因其高分辨率全天候工作和抗电磁干扰能力,成为关键的感知传感器。其核心信号处理算法之一是匹配滤波器(Matched Filter),用于在强噪声背景下最大化信噪比(SNR),实现对微弱目标的检测。在调频连续波(FMCW, Frequency-Modulated Continuous Wave)雷达中,发射信号为线性调频(Chirp)信号。当信号遇到多个目标时,回波是多个延迟版本的叠加。

MHD0815的博客 135

PlayCanvas引擎实战教程:从零构建3D跑酷游戏的终极指南

PlayCanvas是一款基于WebGL和glTF的快速轻量级JavaScript游戏引擎,专门用于创建高性能的3D游戏和交互式内容。作为开源游戏引擎,PlayCanvas让开发者能够利用现代浏览器技术构建令人惊叹的3D体验,无需安装任何插件或额外软件。 ## 🎮 为什么选择PlayCanvas引擎? PlayCanvas引擎拥有众多优势,使其成为3D游戏开发的理想选择: **闪电般的加载

gitblog_00215的博客 401

【uniapp踩坑记】App Store上传失败:Invalid Swift Support错误怎么解决?

作为一个前端出身的开发者,用 uniapp 开发原生 App 已经够挑战了,打包 iOS 上传 App Store 更是处处暗雷。这次的坑虽然小,但确实容易忽略。如果你也遇到了类似的报错,希望这篇文章能帮你少踩一次坑!

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 1144

探索数据湖的未来 —— IceLake:Rust 实现的 Apache Iceberg 引擎

探索数据湖的未来 —— IceLake:Rust 实现的 Apache Iceberg 引擎 在大数据处理的广袤天地里,一个新的探索者正悄然兴起——IceLake,以其鲜明的 Rust 语言印记,为数据存储和处理领域注入了新的活力。本文将带你深入了解 IceLake,解析其技术内核,探讨应用场景,并展现它独一无二的特点。 项目介绍 IceLake 是基于 Apache Iceberg 规范的 Ru...

gitblog_00769的博客 743

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

探索数据湖的新篇章:IceLake - Rust语言下的Iceberg实现

探索数据湖的新篇章:IceLake - Rust语言下的Iceberg实现 在数据处理和存储的广袤领域中,开源项目一直是推动技术进步的重要力量。今天,我们将目光聚焦于一个新兴且充满潜力的项目——IceLake。这不仅仅是一个名字,而是一次革新,它是基于Rust语言对Apache Iceberg框架的一次深情拥抱。 项目介绍 IceLake,正如其名,是针对冰山(Iceberg)的探索之旅,但在编程...

gitblog_00018的博客 1066

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

开源项目 Icelake 常见问题解决方案

开源项目 Icelake 常见问题解决方案 项目基础介绍 Icelake 是一个用 Rust 语言实现的 Iceberg 项目,旨在提供一个纯 Rust 的 Iceberg 实现。Iceberg 是一种用于大规模数据湖的表格式,Icelake 项目的目标是提供一个高效、可靠的 Rust 实现,以便在数据湖场景中使用。 主要的编程语言 该项目主要使用 Rust 编程语言进行开发。Rust 是一种系统...

gitblog_01134的博客 764

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

特性快闪:使用 Databend 玩转 Iceberg

在这篇文章中,我们介绍到 Apache Iceberg 表格式和 Databend 的相关解决方案,并且提供了一个相对完整的 workshop 供大家探索。不难看出,尽管目前我们只为 Iceberg Catalog 提供了单机模式的目录挂载能力,但 Databend 可以胜任一些基本的查询处理任务。也欢迎大家在自己感兴趣的数据上进行尝试,并给我们提供一些反馈。

Databend的博客 496

Databend 开源周报第 149 期

Databend 支持外部用户定义函数,为复杂的数据处理和分析提供了灵活、高效的解决方案。但是目前还不支持递归调用外部 UDF ,我们计划支持这一特性,以进一步提高 UDF 对各种场景的适应性。bendml_embed_text_768('今天天气怎么样?'),')如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review。或者,你可以点击来挑选一个随机问题,祝好运!

Databend的博客 1456

Databend 开源周报 第 98 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 1151

RisingWave Iceberg 集成测试全解析:Spark 建表、三种 Catalog 配置与 REST 目录表位置回归测试

本文围绕 [integration_tests/iceberg-source/README.md](https://link.gitcode.com/i/2ec496d57e111abded060651493d2c8e) 展开,完整讲解 RisingWave 仓库中 Iceberg 集成测试(`iceberg-source`)的运行方式、三种 Catalog(JDBC / REST / Stora

gitblog_00294的博客 630

从零开始学习6D姿态估计:ObjectPoseEstimationSummary中的关键算法解析

6D姿态估计是计算机视觉领域的重要研究方向,它能够精确确定物体在三维空间中的位置和朝向,在机器人抓取、增强现实、自动驾驶等领域有着广泛应用。ObjectPoseEstimationSummary项目汇集了6D姿态估计领域的关键资源,包括论文、数据集和渲染方法,为初学者提供了全面的学习路径。 ## 6D姿态估计基础:核心概念与应用场景 6D姿态估计指的是通过计算机视觉技术确定物体在三维空间中的6

gitblog_00713的博客 527

Apache Iceberg™ Rust:大数据处理的新星

Apache Iceberg™ Rust:大数据处理的新星 项目介绍 Apache Iceberg™ Rust 是 Apache Iceberg 项目的 Rust 实现版本。Apache Iceberg 是一个用于大型分析数据集的开放表格式,而其 Rust 实现版本旨在提供高性能、高可靠性的数据处理能力。该项目目前正在积极开发中,专注于 v0.3.0 版本 的发布。 项目技术分析 Apache I...

gitblog_00502的博客 434

rust: Fan-out/Fan-in Pattern

本项目基于Rust实现珠宝行业全流程的扇出/扇入模式,采用DDD六层架构。通过ProcessRequestDto与ProcessResponseDto传输数据,将采购、设计、生产等12个业务阶段抽象为可并行执行的FanoutTask子任务。核心由JewelryFanoutFanin实现并行调度:先扇出至12个线程并发执行,再统一扇入汇总结果。系统集成日志(文件+控制台)、重试熔断、内存仓储及依赖注入容器,支持顺序与并发两种调度方式,确保高并发下任务可靠执行与可观测性。

Geovin Du Dream Park 166

组网第63课:安全域划分——Trust/Untrust/DMZ、区域模型、与 VLAN 的关系

一组接口 + 一组策略 + 一条默认拒绝。一组接口:这个域包含哪些物理口、VLAN、子接口;一组策略:这个域到别的域放行什么、拒绝什么;一条默认拒绝:没写进策略的,一律不通。第三条最关键。没有默认拒绝,前面划的域全是装饰。

qq_36765170的博客 574

Rust组织管理(AI回答)

你想做的事JS / Python 做法Rust 做法把一个文件纳入工程新建文件即可新建 xxx.rs 后,必须在入口写mod xxx;挂载对外暴露函数/结构体export(Python 默认全公开)默认全私有,必须显式加pub引入别处的函数use crate::模块名::函数名;找路径的基准词./ 或 ../(从 src 根出发)、(上一级 ../)、(当前级 ./)日常写项目:不要用 #[path],直接遵守默认规则——

yaoct的博客 154

自建 RustDesk 服务端后,做一个“装完就能连“的客户端

如果有云服务的话,可以基于 RustDesk 的 hbbs / hbbr 自己部署一套,不过会碰到一个问题:每台电脑装完客户端,都得手动去设置里填三样东西——ID 服务器、中继服务器、Key。填错一个就连不上,还得远程指导同事操作。这篇记录两种解决办法,以及云端编译的完整流程。内容基于 RustDesk 1.5.3 的源码。

风声的专栏 653
上一篇: Databend 开源周报第 152 期
下一篇: Databend 开源周报第 153 期
Databend
博客等级 码龄5年 1458粉丝 363原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值