【openLooKeng新版本1.6.0正式发布】

openLooKeng开发团队与社区开发者共同推出了v1.6.0新版本,该版本在数据持久化、连接器、低时延和Task Recovery等方面进行了优化,提升了引擎性能。新特性包括数据持久化的优化和连接器增强等,旨在为用户提供更高效、可靠的大数据处理体验。用户可通过官方链接下载新版本并加入社区进行交流和反馈。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

小荷才露尖尖角,早有蜻蜓立上头,在这个万物生发的季节,openLooKeng迎来全新版本的升级,在openLooKeng开发团队和社区开发者共同努力下, openLooKeng v1.6.0新版本正式发布,新版本1.6.0在原基础上进行了一些优化,并提供一些新功能,来提升引擎性能。

新版本1.6.0在数据持久化、低时延、连接器、Task Recovery等方面做出了优化,无论是性能提升、可靠性、还是创新方面,都是干货满满。下面就带大家快速浏览openLooKeng新版本1.6.0的关键特性。

1.数据持久化

对于数据持久化,新版本1.6.0做了如下一些优化:

特性名称

场景介绍

优化计算过程数据下盘速度和大小

当在HashAggregation(聚合算法)和GroupBy(分组)期间发生溢出时,序列化到磁盘的数据会很慢,而且大小也会更大。因此可以通过减小大小和提高写入速度来提高整体性能。使用kryo序列化可以提高速度并减小溢出写盘文件大小

支持溢出到hdfs上

目前计算过程数据可以溢出到多个磁盘,现在支持溢出到hdfs以提高吞吐量

异步溢出/不溢出机制

当可操作内存超过阈值并触发溢出时,会阻塞接受来自下游运算符的数据。接受数据并加入到现有溢出流程将有助于更快地完成任务

支持右外连接&全连接场景下的溢出写盘

当连接类型为右外连接或全连接时,不会溢出构建侧数据,因为需要所有数据在内存中进行查找。当数据量较大时,这将导致内存溢出。因此,通过启用溢出机制并创建一个布隆过滤器来识别溢出的数据,并在与探查侧连接期间使用它

2.连接器增强

特性名称

场景介绍

PostgreSQL/openGauss连接器支持更新和删除操作

增强PostgreSQL和openGauss连接器,支持对数据源进行更新和删除操作

3.低 时 延

特性名称

场景介绍

Star Tree 索引支持更新Cube

支持cube更新命令,允许管理员在基础数据更改时轻松更新现有cube的内容

启发式索引优化

优化布隆过滤器索引大小使缩小十倍以上

4.Task Recovery

特性名称

场景介绍

优化执行失败检测时间

当前需要300秒来确定任务失败,然后继续运行。改进这一点将改善执行流程和整体查询时间

快照时间和大小优化

当执行过程中使用快照时,当前直接使用Java序列化,速度很慢,而且需要更多的空间。使用kryo可以减小文件大小并提升速度来增加总吞吐量

注释:Kryo: 是一个快速序列化/反序列化工具,依赖于字节码生成机制(底层使用了 ASM 库),因此在序列化速度上有一定的优势

以上便是新版本1.6.0的优化。作为大数据的关键项目,openLooKeng依旧保持着3个月一个版本的迭代速度,致力于为用户提供极速极简的数据体验。

openLooKeng新版本1.6.0下载地址:openLooKenghttps://openlookeng.io/

欢迎扫码体验新版本1.6.0

如果您在使用openLooKeng过程中,有任何疑问与建议, 请在社区代码仓中提Issue,欢迎添加小助手微信,进入openLooKeng技术交流群

openLooKeng代码仓地址:

https://gitee.com/openlookeng

https://github.com/openlookeng

如果您对新版本1.6.0有任何建议,随时欢迎添加小助手微信

社区公众号|openLooKeng

社群小助手|openLooKengoss

小助手微信号

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值