Set cancelled by MemoryScratchSinkOperator

SunnyRivers

于 2024-03-13 19:32:04 发布

阅读量583

点赞数

CC 4.0 BY-SA版权

分类专栏：分析别人的Bug让自己“零”Bug 文章标签： spark starrocks connector memoryscratch memory

本文链接：https://blog.youkuaiyun.com/Android_xue/article/details/136688788

分析别人的Bug让自己“零”Bug 专栏收录该内容

15 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了在使用Spark Connector读取Starrocks时遇到的内存不足错误，分析了问题本质是Starrocks内存限制。文章讨论了需要调整的参数`starrocks.exec.mem.limit`，并提醒增大此参数可能带来的资源竞争、OOM风险和浪费资源等问题，建议根据实际查询需求合理设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

Bug信息

Caused by: com.starrocks.connector.spark.exception.StarrocksInternalException: StarRocks server StarRocks BE{host='10.9.14.39', port=9060} internal failed, status code [CANCELLED] error message is [Set cancelled by MemoryScratchSinkOperator]

Bug产生的代码

使用Spark Connector读Starrocks的时候报的错，代码参考的官网如下：

val starrocksSparkDF = spark.read.format("starrocks")
           .option("starrocks.table.identifier", s"test.score_board")
           .option("starrocks.fe.http.url", s"<fe_host>:<fe_http_port