Spark常用错误记录

最新推荐文章于 2025-06-10 21:07:23 发布

原创最新推荐文章于 2025-06-10 21:07:23 发布 · 481 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

spark 同时被 2 个专栏收录

10 篇文章

订阅专栏

hbase

7 篇文章

订阅专栏

1、org.apache.spark.shuffle.FetchFailedException: Failed to connect

当出现这个错误的时候，绝大部分原因是spark连接executor超时了，解决方案：

在spark-submit脚本中增加：--conf spark.core.connection.ack.wait.timeout=600s

2、spark 访问hbase时，出现Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z

解决方案：在spark-env.sh中增加环境变量
export JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:$HADOOP_HOME/lib/native
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native
export SPARK_YARN_USER_ENV="JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH,LD_LIBRARY_PATH=$LD_LIBRARY_PATH"