全票通过！网易数帆开源项目Kyuubi进入Apache孵化器

最新推荐文章于 2024-10-24 00:00:00 发布

原创

最新推荐文章于 2024-10-24 00:00:00 发布 · 575 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #Spark #Kyuubi #开源 #网易

Kyuubi，灵感来源于《山海经》和《火影忍者》，是网易首个进入Apache孵化器的开源项目。它致力于大数据平民化，通过C/S架构提供优化的Spark算力，兼容HiveServer2，支持多租户、高可用等企业级特性。Kyuubi提供预置Engine模块，简化Spark API使用，实现资源弹性伸缩，支持批流一体和主流数据湖框架，打造统一数据湖管理平台。

北京时间2021年6月21日，全球顶级开源组织Apache基金会宣布，网易数帆开源的大数据项目Kyuubi以全票通过的表现，正式进入Apache基金会孵化器。 根据投票结果，Kyuubi获得了13个约束性投票(binding votes)和8个无约束性投票(non-binding votes)，投票全部持赞同意见，无弃权票和反对票。
在这里插入图片描述

Kyuubi 是网易第一款贡献给 Apache 基金会进入孵化器的开源项目。开源至今，Kyuubi 已累积接受了 29 位国内外开发者超过 200 个以上的提交。当然，进入Apache 孵化器只是一小步。未来， Kyuubi 社区将遵循「The Apache Way」, 打造更加多元化的生态和社区，由衷地欢迎更多的贡献者、用户能够参与到Kyuubi社区中来。

Kyuubi 系统介绍

Kyuubi 的命名源自中国神话《山海经》，意为“九尾狐”。狐会喷火，象征Spark；狐有九尾，类比多租户，在Spark上实现多租户是系统设计之初的主要目的。然后我们取了《火影忍者》动漫中角色九尾的罗马音['kju:bi:]，作为言简意赅的项目名称。
Kyuubi 的最终目标是让“大数据平民化”。为实现这个目标，Kyuubi遵循“专业人做专业事”的准则，通过 Kyuubi的 C/S 架构，服务端大数据专家可以将 Spark 等大数据算力极致优化并高度封装后提供出来，业务端专家可通过该算力直接在自己擅长的业务领域处理数据产生价值，两者之间也通过简单的接口进行必要且有效的直接交互。