xwq的博客

在Intellij IDEA中编写Scala程序报错：Error:scalac: ‘jvm-1.8’ is not a valid choice for ‘-target’Intellij IDEA版本是2019.1.3，JDK版本是1.8.0，Scala版本是2.10.5.解决方法：根据以下路径File->Settings -> Build, Execution, Deplo...

在spark1.6.0中运行代码，出现如下错误：org.apache.spark.SparkException: Failed to get broadcast_270_piece0 of broadcast_270解决方法1.可能是因为spark.cleaner.ttl导致的，spark.cleaner.ttl设置一个清除时间，使spark清除超过这个时间的所有RDD数据，以便腾出空间给...

在spark1.6.0中运行代码，在log中出现如下错误提示：ERROR util.Utils: uncaught error in thread SparkListenerBus, stopping SparkContext这个错误提示可以忽略不记。当我们清理并终止守护进程上下文清理线程时，在执行结束时会打印这个。今后这个错误提示可能会消除，因为它可能会让用户感到困惑。https://...

在spark1.6.0中运行代码，在log中出现如下错误提示：java.lang.OutOfMemoryError: GC overhead limit exceeded这个一般是因为在垃圾回收中占用了大量时间造成的。通常来说，当程序用98%的时间回收了不到2%的堆内存时导致的。通常是设置的堆内存太小，导致没有足够的内存。1.spark.executor.memory 调大参数扩大内存2...

在spark shell中运行下述代码： val max_array = max_read_fav_share_vote.collect val max_read = max_array(0)(0).toString.toDouble val max_fav = max_array(0)(1).toString.toDouble val max_share = ma...