spark 问题

mllhxn

于 2016-10-31 11:58:35 发布

阅读量384

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/mlljava1111/article/details/52981274

版权

spark 专栏收录该内容

44 篇文章

订阅专栏

本文介绍了如何优化Spark应用程序以避免内存溢出错误，并提供了一种改进的数据处理方法。此外，还讨论了在使用FPMTree时遇到的一个特定问题及其解决策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1：
conf.set(“spark.kryoserializer.buffer.max”,”100m”)
2：

testDataRdd.map(p =>Person (p._1,p._2,sameModel.predict(p._3).toInt)).toDF()

这样写占容易 java.lang.OutOfMemoryError: Java heap space，改成下面这样

sameModel.predict(testDataRdd.map(_._3)).map(_.toInt).zip(testDataRdd)
.map(p =>(p._2._1,p._2._2,p._1)).toDF("imei","model","k")

3：
报错：Can not set final Scala.collection.mutable.ListBuffer field org.apache.spark.mllib.fpm.FPTree$Summary.nodes to scala.collection.mutable.ArrayBuffer

val sparkConf = new SparkConf()
//sparkConf .set("spark.serializer", "org.apache.spark.serializer.JavaSerializer")
sparkConf.registerKryoClasses(Array(classOf[ArrayBuffer[String]], classOf[ListBuffer[String]]))