
Kyuubi
文章平均质量分 95
董可伦
博主曾获2014年全国数学建模竞赛国家一等奖;有八年大数据经验,大数据领域专家、优快云博客专家。Apache Hudi Active Contributor,喜欢开源,擅长并乐于分享Flink、Hudi、Spark等大数据领域的技术
展开
-
Spark3.12+Kyuubi1.5.2+kyuubi-spark-authz源码编译打包+部署配置HA
记录Spark3.1.2+Kyuubi1.5.2从源码打包到部署配置过程,虽然之前总结过一篇Kyuubi配置的文章:Kyuubi 安装配置总结,但是这次和之前还是有不同的:先讲完整的配置,再讲如何编译打包前提:我的环境上有一个ambari自带的Spark2.4.5,路径解压Spark3.1.2的tgz包,将其放到路径 (新建临时目录),并改名为spark3,然后拷贝之前spark2的配置到spark3的配置目录中,已经存在的模板,输入不用覆盖如果是在windows上自己打的包,传到服务器Linux上可能存原创 2022-07-12 11:08:59 · 1996 阅读 · 7 评论 -
Kyuubi 安装配置总结
前言前段时间研究了一下Kyuubi,主要是安装配置,适配Spark版本,验证Spark Server HA 的功能,基本都验证通过,但是后续没有实际使用,现在回忆总结一下,避免遗忘。主要适配Spark2.4.5 以及 Spark3.1.2版本,同时验证是否支持Hudi。版本说明目前Kyuubi最新版本为1.4,Kyuubi 1.x 默认不支持Spark2,1.4版本默认Spark版本3.1.2,并且默认支持Hudi,但是因hudi0.9版本不支持Spark3.1.2,所以需要hudi0.10.1原创 2022-05-13 16:04:15 · 2463 阅读 · 0 评论