samtools sort fails when using too many tmp files

最新推荐文章于 2024-04-01 13:43:47 发布
原创 最新推荐文章于 2024-04-01 13:43:47 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客内容讲述了在使用Samtools进行排序时遇到'Too many open files'的问题，提示需要增加内存分配以减少临时文件的合并。解决方案是通过添加'-m2G'参数来提高内存分配，例如：`samtoolssort -m2G in.bam -o out.sorted.bam`。

error：

samtools sort: fail to open "****.sorted.bam.tmp.1020.bam": Too many open files

increase the RAM allowance for samtools sort (with -m 1500M or -m 2G, for example) such that there are fewer (larger) temp files to merge

command :

samtools sort -m 2G -n in.bam -o in.sorted.bam
Samtools problem for tmp files not merged
fanfanfou的博客
10-28 734
20191018 ##samtools hisat2 -p 12 -x /data/server/reference/index/hisat/hg38/genome -1 /home/vip/rnadata/airway/clean/SRR1039519_1_val_1.fq.gz -2 /home/vip/rnadata/airway/clean/SRR1039519_2_val_2.fq.gz...
【Error】samtools sort: fail to open “merged.sorted.bam.tmp.1020.bam“: Too many open files
youfeng_xjy的博客
10-18 1606
服务器中一个进程允许打开的文件数量是有限的，也即运行过程中生成的.tmp文件数是有限的，而samtools sort默认使用内存是768M（见-m参数）。我用的服务器是1024个文件数，但由于我没有管理员权限，没有办法改。因此，当一个bam文件太大的时候，sort过程生成的文件数就会超出限制。-m 4G时，一个.tmp文件大约是1.3-1.4G，-m 3G时，一个.tmp文件大约是1.1G，-m 5G时，一个.tmp文件大约是1.8G。所以另一个思路就是增加允许的tmp文件的大小，修改-m参数。
Liunx samtools sort 报错 Bus Error 解决
HTTTThyhu的博客
05-03 1608
Liunx Bus Error报错 求助！！之前使用时没有问题，突然使用samtools sort 就报错了 [hhh@mn02 4.Mapping]$ samtools sort -@ 10 input.bam > prc.sorted.bam Bus error 求大佬们指点一下！不明白怎么突然就这样了 ...
samtools sort: truncated file. Aborting
single0202的博客
09-15 4418
samtools sort的时候报错： 经搜索是上一步用nohup导致文件中多了一行 https://www.jianshu.com/p/cf19e2185920
samtools 报错及debug
zqyhyunbin111的博客
01-09 1701
使用samtools index，但是提示文件没有sort，很奇怪，文件明明是sort过的？？？ 后来发现是sort 的方式不对，原先的文件是按照name 进行sort的，index参数只能对pos排序的文件进行sort.
解决samtools将sam文件转换为bam文件时多条重复错误的方法：Duplicate entry “1“ in sam header
weixin_51192038的博客
05-26 1852
我今天在用samtools将比对好的sam文件转换为bam文件时，一直出现多条重复的错误，如下图 我尝试了很多方法，找到了bamutil这个软件，可以解决这个问题， 但如果只有一条重复，那可以用下面这个方法 #打印重复的内容 && /1/ ，1需要换成你重复的内容值 awk '/^@/ && /1/ { print } /^[^@]/ { exit }' aln-pe.sam #删除重复的内容 { if (/:1/) 这里面的/:1/，:1需要换成你重复的内容值
输入samtools sort -@ 8 -o WT1.bam WT1.sam，返回samtools sort: couldn't allocate memory for bam_mem
08-07
在使用 `samtools sort` 命令对 SAM 文件进行排序时，如果遇到 `couldn't allocate memory for bam_mem` 错误，通常是因为系统内存不足或程序未能有效管理内存分配[^1]。以下是几种可能的解决方法： ### 1. 增加...
输入“samtools sort -@ 2 -o WT1.bam WT1.sam”，返回“merging from 6 files and 2 in-memory blocks ”
最新发布
08-08
在使用 `samtools sort` 进行 BAM 文件排序时，如果看到类似 `merging from 6 files and 2 in-memory blocks` 的提示信息，这表示排序过程中使用了外部排序（external sorting）机制。该机制用于处理超出内存限制的...
输入“samtools sort -@ 8 -o WT1.bam WT1.sam”，返回“samtools sort: couldn't allocate memory for bam_mem”，已知电脑最大内存为4G
08-08
在使用 `samtools sort` 时，出现 `error: couldn't allocate memory for bam_mem` 的问题通常与系统内存不足或 `samtools` 的默认内存设置不合理有关。以下是解决此问题的几种方法： ### 1. **增加可用内存或减少...
samtools sort: couldn't allocate memory for bam_mem
03-31
好的，我现在需要帮助用户解决samtools sort运行时遇到的“couldn't allocate memory for bam_mem”错误。首先，我应该回顾用户提供的引用内容，看看有哪些相关信息。 引用[1]提到内存分配失败的问题，引用[3]讨论...
sam to bam文件出错
fethin的博客
08-18 9907
开始学习生物信息分析，在ubuntu上运行了samtools view，结果显示错误，如下： # samtools view -@ 60 -bS *.sam > ra24p.bam [samopen] no @SQ lines in the header. 尝试改变参数也不行 就查看了sam文件 #head -10 ra24p.sam [M::bwa_idx_load_
linux 错误 too many open files 解决方案
whatday的专栏
02-04 2827
一、产生原因 too many open files是Linux系统中常见的错误，从字面意思上看就是说程序打开的文件数过多，不过这里的files不单是文件的意思，也包括打开的通讯链接(比如socket)，正在监听的端口等等，所以有时候也可以叫做句柄(handle)，这个错误通常也可以叫做句柄数超出系统限制。 引起的原因就是进程在某个时刻打开了超过系统限制的文件数量以及通讯链接数，通过命令ulim......
samtools的一些问题
weixin_30572613的博客
01-24 1808
samtools在内存与core大量使用时容易出错：如 samtools sort: failed to create temporary file "TCGA-B0-5117-01A-01R-1420-07/hisat2_result/tmp.0000.bam": Cannot send after transport endpoint shutdown 33662 Aborted (cor...
too many open files(打开的文件过多)解决方法
热门推荐
muzlei的博客
11-08 2万+
https://www.cnblogs.com/conanwang/p/5818441.html SU: failed to execute /bin/bash:系统中打开的文件过多 一、产生原因 too many open files(打开的文件过多)是Linux系统中常见的错误，从字面意思上看就是说程序打开的文件数过多，不过这里的files不单是文件的意思，也包括打开的通讯链接(比如sock...
samtools sort: failed to read header from “-“
weixin_54434521的博客
04-01 2225
报错原因：fastq中有序列的第二行序列和第四行序列质量的长度不一致，导致错误比。
sort命令临时文件的问题
yfk的专栏
05-31 8792
今天op报出了个问题，线上监控程序检测到/tmp目录下发现大的临时文件，经查，是我写的一个脚本中sort命令产生的，悲剧~ sort命令在进行大文件排序，会自动使用外排序，此时默认会在/tmp目录下新建一个大文件，排序完成后删除。 产生的临时文件是隐藏文件，名称like：sort9SQj4x 解决办法，使用-T参数指定临时文件目录 -T tempdir, --temporary-directory=dir     存放临时文件的目录 示例： so
Too many open files的四种解决办法
u013068789的博客
09-14 1万+
【摘要】 Too many open files有四种可能:一 单个进程打开文件句柄数过多,二 操作系统打开的文件句柄数过多,三 systemd对该进程进行了限制,四 inotify达到上限. 领导见了孔乙己，也每每这样问他，引人发笑。孔乙己自己知道不能和他们谈天，便只好向我们新员工说话。有一回对我说道，“你定位过问题么？”我略略点一点头。他说，“定位过，……我便考你一考。Too many open files，怎样解决？”我想，考评垫底的人，也配考我么？便回过脸去，不再理会。孔乙己等了许久，很恳切的说道，
samtools命令大全
chen_amiao的博客
10-30 4646
samtools是一个用于操作sam和bam文件（通常是序列比对工具如bwa，bowtie2，hisat2，tophat2等等产生的）的工具合集，包含有许多命令，以下是常用命令的介绍。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值