Apache Kyuubi：灵活运用引擎隔离共享，加速即席查询，支持大规模 ETL

最新推荐文章于 2025-06-27 09:23:49 发布

网易杭研

最新推荐文章于 2025-06-27 09:23:49 发布

阅读量4.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据文章标签：大数据分布式数据湖 Spark Kyuubi

本文链接：https://blog.youkuaiyun.com/NetEaseResearch/article/details/121530393

Apache Kyuubi是一个Thrift JDBC/ODBC服务，支持多租户和分布式，用于ETL和BI。从v1.0.0开始，引入引擎共享级别以实现不同粒度的隔离和共享，优化资源利用，提升Spark SQL的性能。通过CONNECTION、USER、GROUP、SERVER等共享级别，Kyuubi提供了灵活的引擎管理策略，以适应不同工作负载需求，尤其适用于大规模数据湖的处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Kyuubi 简介

Apache Kyuubi （Incubating）是一个 Thrift JDBC/ODBC 服务，目前对接了 Apache Spark 计算框架，支持多租户和分布式等特性，可以满足企业内诸如 ETL、BI 报表等多种大数据场景的应用。Kyuubi 可以为企业级数据湖探索提供标准化的接口，赋予用户调动整个数据湖生态的数据的能力，使得用户能够像处理普通数据一样处理大数据。项目已于2021年 6 月 21 号正式进入 Apache 孵化器。从社区当前阶段的发展目标来看，它的主要方向是依托本身的架构设计，围绕各类主流计算框架，打造一个面向 Serverless SQL on Lakehouse 的服务。

项目地址：https://github.com/apache/incubator-kyuubi

前言

为了能让 Kyuubi 可以更好的满足诸如 ETL、BI 报表等多种大数据场景的应用，从 Kyuubi v1.0.0 版本开始，我们引入了 Kyuubi 引擎共享级别这个概念，来对执行侧进行不同粒度的隔离和共享，这个功能在多次版本的迭代过程中不断被优化和完善。

Kyuubi 引擎的共享级别描述了会话(session)和引擎(engine)之间的对应关系。它决定了一个新的会话是否可以以及如何与其他会话共享一个现有的后台引擎。会话也被视为来自终端用户创建的客户端发起的Thrift JDBC/ODBC连接，而引擎是独立的分布式应用程序，他它在 Spark SQL、 Flink SQL（开发中，见 https://github.com/apache/incubator-kyuubi/issues/1322</