spark中关于Insufficient space for shared memory file和java.io.IOException: No space left on device

背景：在spark中，去重后将数据写入到hdfs中时，报错：Insufficient space for shared memory file和java.io.IOException: No space left on device。
原因：由于去重会带来shuffle，在shuffle过程中空间不足造成的。在spark-env.sh中找到SPARK_LOCAL_DIRS配置的目录/tmp/spark/tmp，然后利用du -sh /tmp查看空间发现满了，利用率为100%
解决方法：（1）扩大/tmp挂载的磁盘空间大小；（2）在spark-env.sh中重新配置SPARK_LOCAL_DIRS的目录，并重启spark集群；

参考：
（1）https://www.cnblogs.com/haibin168/p/6854314.html