解决 Spark 本地模式 out of memory 和磁盘不足问题

在做Kaggle比赛的时候，中间处理之后的训练数据有5000多万条数据，结果Spark 本地模式运行的时候，一直报出out of memory 问题。我在程序中使用了DataFrame.rdd.collect()方法。RDD的Collect()方法把RDD的数据全部放入到数组中进行返回，5000多万条数据全部放入到数组当中进行返回。当然会内存溢出。

通过打印GC日志发现，Eden区域和老年代的空间使用全部都是100%。没办法，电脑8g内存，我通过调大堆的内存，发现还是内存溢出，内存还是不够存下这么多条数据。我想了一下解决方法。

解决方法1

这是一种简单暴力的方法，自己可以再去买一个8G内存条，然后把堆得空间通过-Xms??M -Xmx??M -Xmn??M来设置尽可能大一点。尽量设置为最大的空间。这样看看能不能解决，如果还是不能解决的话，说明你的数据太大了。

解决方法2

我调用RDD重新分区函数将RDD重新分为了20个分区，然后通过RDD的saveAsTextFile方法将它们存到了20个文件当中去了。然后，跑程序的时候，我一个文件一个文件的来进行读取。然后一行一行的使用数据。结果是程序可以跑了，但是非常慢。没钱买内存条，只用这种方法。

解决方法2运行到3000多万条数据的时候，发现程序运行的很慢，通过jstat命令发现新生代的内存用完了。这块我还在考虑，等我之后想到了完美的办法，在来完善这个问题。

磁盘空间不足问题