spark错误记录

最新推荐文章于 2024-01-15 11:23:15 发布

ztdf123

最新推荐文章于 2024-01-15 11:23:15 发布

阅读量158

点赞数

分类专栏：疑难杂症文章标签： spark java linux

本文链接：https://blog.youkuaiyun.com/qq_43110394/article/details/118464170

版权

疑难杂症专栏收录该内容

2 篇文章

订阅专栏

"在尝试保存Spark的ALS模型时遇到了java.lang.StackOverflowError。问题根源是栈溢出，解决方法是在Spark配置中增加堆栈大小。打开Spark的conf目录，编辑spark-defaults.conf文件，添加`spark.driver.extraJavaOptions="-Xss30M"`配置即可避免该错误。"

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

保存ALSmodel的时候出错
java.lang.StackOverflowError
原因是栈溢出，需要把java的栈开大一点
打开spark安装目录
我的是/usr/local/spark/conf
然后
cp spark-defaults.conf.template spark-defaults.conf
vi spark-defaults.conf
添加以下配置信息
spark.driver.extraJavaOptions="-Xss30M"
就好了