ls: 无法访问/opt/module/spark/lib/spark-assembly-*.jar: 没有那个文件或目录

最新推荐文章于 2024-02-15 01:47:27 发布

Jreds

最新推荐文章于 2024-02-15 01:47:27 发布

阅读量2.7k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：大数据之-Hive 文章标签： hive

本文出 Jred 的优快云博客，转载请注明出处，谢谢！

本文链接：https://blog.youkuaiyun.com/onionm/article/details/98502960

大数据之-Hive 专栏收录该内容

5 篇文章

订阅专栏

本文介绍从Spark旧版本升级到2.0.0后，由于lib的大JAR包被拆分为小JAR包，原有配置中找不到spark-assembly JAR包的问题解决方法。通过修改配置，将/lib/spark-assembly-*.jar替换为/jars/spark-*.jar，可以避免此类问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述
从spark升级到2.0.0之后，原有的lib的整个大JAR包已经被分散的小JAR包的替代，所以肯定找不到spark-assembly的JAR包,修改一下配置就行了
hive脚本114行开始

if [[ -n "$SPARK_HOME" ]]
then
  sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
  CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi

将/lib/spark-assembly-*.jar`替换成/jars/spark-*.jar`，就不会出现这样的问题
 sparkAssemblyPath=`ls ${SPARK_HOME}/jars/spark-*.jar`