xwq的博客

在spark集群上运行一个shell脚本，出现错误：出现这个问题的原因是shell脚本中没有指定主资源，这是因为我在shell脚本中有多个jar包，但都用来作为依赖资源而没有指定主资源。类似运行如下的指令会出现这个错误：./bin/spark-submit --class Sentimenter --master local[4] --jars /home/ubuntu/spark/spar...

在spark shell中导入一个包出错：import x.y但是报错： <console>:29: error: object y is not a member of package x解决方法：打开spark shell时将x.y包加入bin/spark-shell --packages x.y也看到有人说加上 root 有效：import _root_....

在spark1.6.0中运行代码，出现如下错误：org.apache.spark.SparkException: Failed to get broadcast_270_piece0 of broadcast_270解决方法1.可能是因为spark.cleaner.ttl导致的，spark.cleaner.ttl设置一个清除时间，使spark清除超过这个时间的所有RDD数据，以便腾出空间给...

在spark1.6.0中运行代码，在log中出现如下错误提示：ERROR util.Utils: uncaught error in thread SparkListenerBus, stopping SparkContext这个错误提示可以忽略不记。当我们清理并终止守护进程上下文清理线程时，在执行结束时会打印这个。今后这个错误提示可能会消除，因为它可能会让用户感到困惑。https://...

在spark1.6.0中运行代码，在log中出现如下错误提示：java.lang.OutOfMemoryError: GC overhead limit exceeded这个一般是因为在垃圾回收中占用了大量时间造成的。通常来说，当程序用98%的时间回收了不到2%的堆内存时导致的。通常是设置的堆内存太小，导致没有足够的内存。1.spark.executor.memory 调大参数扩大内存2...

在spark shell中运行下述代码： val max_array = max_read_fav_share_vote.collect val max_read = max_array(0)(0).toString.toDouble val max_fav = max_array(0)(1).toString.toDouble val max_share = ma...