spark（sparkSQL）报错 WARN TaskMemoryManager: Failed to allocate a page (bytes), try again.

背景

最近在跑 sparkSQL的时候，执行到一半，频繁打印日志报错：

WARN TaskMemoryManager: Failed to allocate a page (104876 bytes), try again.
WARN TaskMemoryManager: Failed to allocate a page (104876 bytes), try again.
…

原因

执行任务的内存不够，需要频繁回收资源

解决办法

1、优化sql脚本。（首选，当时我就是这么解决的）
2、增加driver内存， --driver-memory 6G

我当时的sql 简化如下:

select name 
from stu
where id in (select id from in_stu);

stu数据量为 800w， in_stu 数据量为 1.2kw

优化为：

select name 
<