本文探讨了在Spark环境中加载第三方jar包的具体步骤及遇到的问题。张某在使用zip压缩的第三方jar包时，通过修改配置使Spark能够识别并使用其中的文件。然而，在实际运行中发现了文件未被正确识别的问题。通过对yarn的executor container的排查，找到了job的缓存路径，并调整了配置路径，最终解决了问题。
张某 提交的第三方jar /home/zhang/r_igraph.zip ，
config[["spark.yarn.dist.archives"]] <- "/home/zhang/miniconda3/envs/r_igraph.zip"
config[["spark.r.command"]] <- "./r_igraph.zip/bin/Rscript"
config$sparklyr.apply.env.R_HOME <- "./r_igraph.zip/lib/R"
config$sparklyr.apply.env.RHOME <- "./r_igraph.zip/"
config$sparklyr.apply.env.R_SHARE_DIR <- "./r_igraph.zip/lib/R/share"
config$sparklyr.apply.env.R_INCLUDE_DIR <- "./r_igraph.zip/lib/R/include"
代码使用zip中的文件，发现找不到
经过排查
1、查找yarn的executor 的container
登录d129的机器的找到container_1536303536795_778181_01_000024进程
ps -ef|grep container_1536303536795_778181_01_000024
3、找到提交的job缓存路径
r_igraph.zip 解压后会多一集r_igraph目录
config[["spark.yarn.dist.archives"]] <- "/home/zhang/miniconda3/envs/r_igraph.zip"
config[["spark.r.command"]] <- "./r_igraph.zip/r_igraph/bin/Rscript"
config$sparklyr.apply.env.R_HOME <- "./r_igraph.zip/r_igraph/lib/R"
config$sparklyr.apply.env.RHOME <- "./r_igraph.zip/r_igraph"
config$sparklyr.apply.env.R_SHARE_DIR <- "./r_igraph.zip/r_igraph/lib/R/share"
config$sparklyr.apply.env.R_INCLUDE_DIR <- "./r_igraph.zip/r_igraph/lib/R/include"
扫一扫
317
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
