基于kyuubi+spark3 加速hive批计算任务
0x00背景我司报表平台大量ETL任务原来采用hive on tez引擎执行批计算任务,存在资源不足执行慢等问题急需解决。经调研及测试,我们发现spark 3.0引擎在sql兼容性及执行速度等方面有巨大优化,平均执行速度是hive的2-10倍,因此我们计划通过spark3.0进行离线加速工作。0x01架构kyuubi 1.3.0 spark 3.1.2 Scala 2.12 Submarine:Spark Sercurity 0.6.0..
原创
2021-12-02 20:48:08 ·
7102 阅读 ·
4 评论