Apache Kyuubi:灵活运用引擎隔离共享,加速即席查询,支持大规模 ETL

Apache Kyuubi是一个Thrift JDBC/ODBC服务,支持多租户和分布式,用于ETL和BI。从v1.0.0开始,引入引擎共享级别以实现不同粒度的隔离和共享,优化资源利用,提升Spark SQL的性能。通过CONNECTION、USER、GROUP、SERVER等共享级别,Kyuubi提供了灵活的引擎管理策略,以适应不同工作负载需求,尤其适用于大规模数据湖的处理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

Kyuubi 简介

  Apache Kyuubi (Incubating)是一个 Thrift JDBC/ODBC 服务,目前对接了 Apache Spark 计算框架,支持多租户和分布式等特性,可以满足企业内诸如 ETL、BI 报表等多种大数据场景的应用。Kyuubi 可以为企业级数据湖探索提供标准化的接口,赋予用户调动整个数据湖生态的数据的能力,使得用户能够像处理普通数据一样处理大数据。项目已于2021年 6 月 21 号正式进入 Apache 孵化器。从社区当前阶段的发展目标来看,它的主要方向是依托本身的架构设计,围绕各类主流计算框架,打造一个面向 Serverless SQL on Lakehouse 的服务。

项目地址:https://github.com/apache/incubator-kyuubi

前言

    为了能让 Kyuubi 可以更好的满足诸如 ETL、BI 报表等多种大数据场景的应用,从 Kyuubi v1.0.0  版本开始,我们引入了 Kyuubi 引擎共享级别这个概念,来对执行侧进行不同粒度的隔离和共享,这个功能在多次版本的迭代过程中不断被优化和完善。

    Kyuubi 引擎的共享级别描述了会话(session)和引擎(engine)之间的对应关系。它决定了一个新的会话是否可以以及如何与其他会话共享一个现有的后台引擎。会话也被视为来自终端用户创建的客户端发起的Thrift JDBC/ODBC连接,而引擎是独立的分布式应用程序,他它在 Spark SQL、 Flink SQL(开发中,见 https://github.com/apache/incubator-kyuubi/issues/1322</

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

网易杭研

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值