
Spark
文章平均质量分 62
开始从新捡起来Spark相关的知识了, 把平时遇到的一些经验分享在这里,有需要的自取
JYCJ_
这个作者很懒,什么都没留下…
展开
-
【教程】如何编译指定版本Spark
我们目前在K8S集群中使用的spark是,基于kubeflow的来运行的,对应的spark版本: 3.2.1为啥要编译指定版本的Spark?主要是需要读取一个消息队列的数据源, 看到有对应数据源spark读取的实现,有现成的。不过,是基于低版本spark 2.3的实现,想直接拿来用(果然没有现成的馅饼)。结果: 悲剧了, 根本用不上。还遇到一堆问题(不支持 On K8S、 spark operator的兼容性问题)最终: 跑是跑起来了, 只能local模式。On K8S的问题有太多兼容性问题。原创 2024-12-25 11:22:39 · 292 阅读 · 0 评论 -
如何部署SparkHistoryServer
如何部署SparkHistoryServer原创 2024-12-25 11:13:06 · 246 阅读 · 0 评论