ls: 无法访问/opt/module/spark/lib/spark-assembly-*.jar: 没有那个文件或目录

最新推荐文章于 2024-02-15 01:47:27 发布

原创最新推荐文章于 2024-02-15 01:47:27 发布 · 2.7k 阅读

4 ·

CC 4.0 BY-SA版权

本文出 Jred 的优快云博客，转载请注明出处，谢谢！

文章标签：

#hive

大数据之-Hive 专栏收录该内容

5 篇文章

订阅专栏

本文介绍从Spark旧版本升级到2.0.0后，由于lib的大JAR包被拆分为小JAR包，原有配置中找不到spark-assembly JAR包的问题解决方法。通过修改配置，将/lib/spark-assembly-*.jar替换为/jars/spark-*.jar，可以避免此类问题。

在这里插入图片描述
从spark升级到2.0.0之后，原有的lib的整个大JAR包已经被分散的小JAR包的替代，所以肯定找不到spark-assembly的JAR包,修改一下配置就行了
hive脚本114行开始

if [[ -n "$SPARK_HOME" ]]
then
  sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
  CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi

将/lib/spark-assembly-*.jar`替换成/jars/spark-*.jar`，就不会出现这样的问题
 sparkAssemblyPath=`ls ${SPARK_HOME}/jars/spark-*.jar`