GATK ApplyBQSRSpark 过程中因No space left on device终止

骑行去看海

已于 2023-08-29 16:00:32 修改

阅读量407

点赞数

分类专栏： debug 文章标签： bug 生物信息 linux

于 2023-08-07 10:18:39 首次发布

本文链接：https://blog.youkuaiyun.com/sgsx11/article/details/132140622

版权

debug 专栏收录该内容

2 篇文章

订阅专栏

Error：
GATK ApplyBQSRSpark 过程中因No space left on device终止
执行命令：

nohup time ./gatk --java-options "-Xmx128G" ApplyBQSRSpark 
--spark-master local[20] 
-R ../../alignment/hg38/hg38.fa  
-I ../../alignment/bam/P368T.sorted.markdup.bam 
--bqsr-recal-file ../../alignment/bam/P368T.sorted.markdup.recal_data.table 
-O ../../alignment/bam/P368T.sorted.markdup.BQSR.bam 
> ../../alignment/log/P368T_BQSR_to_bam.log 2>&1 &

日志信息：

23/08/05 20:07:33 ERROR Executor: Exception in task 224.0 in stage 1.0 (TID 3066)
java.io.IOException: No space left on device

错误分析：
Spark计算时，默认会将中间结果、所用到的jar包临时存放到/tmp目录中，当挂载在/tmp目录的磁盘空间不足时，就会报错`No Space Left on the device

解决方法：
linux下编译出现tmp空间不足解决办法

在用户目录下mkdir建立一个tmp文件夹
在这里插入图片描述
在gatk的帮助文档中提到--tmp-dir 命令可以修改临时文件的存放目录
–tmp-dir Temp directory to use. Default value: null.
所以在命令中加上–tmp-dir /home/username/tmp

nohup time ./gatk --java-options "-Xmx200G" ApplyBQSRSpark 
--tmp-dir /home/chentao/tmp/ 
--spark-master local[20] 
-R ../../alignment/hg38/hg38.fa  
-I ../../alignment/bam/P368T.sorted.markdup.bam 
--bqsr-recal-file ../../alignment/bam/P368T.sorted.markdup.recal_data.table 
-O ../../alignment/bam/P368T.sorted.markdup.BQSR.bam 
> ../../alignment/log/P368T_BQSR_to_bam.log 2>&1 &