spark.driver.maxResultSize || java.lang.OutOfMemoryError

chenlongzhen_tech

于 2016-03-11 16:46:05 发布

阅读量3.2k

点赞数

分类专栏： spark&sparkr

版权

30 篇文章

订阅专栏

在使用Spark处理大数据时，遇到序列化结果超过限制导致的错误。通过更换梯度下降法解决问题。文章详细介绍了问题原因、解决方法及对比效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

16/03/11 12:05:56 ERROR TaskSetManager: Total size of serialized results of 4 tasks (1800.7 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)


.set("spark.driver.maxResultSize","8g")

java.lang.OutOfMemoryError: Direct buffer memory

   这种情况一般是序列化大于256m，需要修改程序。我在使用limit拟牛顿法出现这种情况，换成随机梯度下降就解决了。