Linux下从NCBI批量下载SRA数据的sra和aspera方法

Minus_yao  2018.04.25  yaoguocai_cool@163.com

#从NCBI下载SRA数据,最近在疯狂下载宏基因组数据，试着解决一下这个问题~

方法一：

软件准备：

使用ncbi提供的下载工具sratoolkit，下载到本地服务器上

Wget https://ftp-trace.ncbi.nlm.nih.gov/sra/sdk/2.9.0/sratoolkit.2.9.0-centos_linux64.tar.gz

解压：

tar -zxvf sratoolkit.2.9.0-centos_linux64.tar.gz

添加环境变量

echo'exportPATH=/home/gyao/program/sratoolkit.2.9.0-centos_linux64.tar.gz/bin:$PATH'>> ~/.bashrc

source~/.bashrc

数据列表准备：

以ERP005860数据为例，包含314个sra文件，先从NCBI上拿到SRR_Acc_List.txt文件。

下载这个AccessionList文件，里面是314行形如ERR526291的编号

下载命令行：

nohup/home/gyao/program/sratoolkit/sratoolkit.2.9.0-centos_linux64/bin/prefetch -a"/home/gyao/.aspera/connect/bin/ascp|/home/gyao/.aspera/connect/etc/asperaweb_id_dsa.openssh"--ascp-options "-QT -l 40m"  --option-file SRR_Acc_List.txt &

(注意--option-file应在当前文件夹下，如前添加了环境变量，可直接使用prefetch；不过，默认文件下载的位置是~/ncbi/public/sra，试图修改时很麻烦遂放弃)。

这个方法能够批量下载，但是用了几天发现速度变得超级慢，还莫名其妙断掉，想其他办法，选择aspera下载。

软件准备：

下载软件：

Wgethttp://download.asperasoft.com/download/sw/connect/3.7.4/aspera-connect-3.7.4.147727-linux-64.tar.gz

解压：

tarzxvf aspera-connect-3.7.4.147727-linux-64.tar.gz

安装：

bashaspera-connect-3.7.4.147727-linux-64.sh

添加环境变量：

echo'export PATH=~/.aspera/connect/bin:$PATH' >> ~/.bashrc

source~/.bashrc

命令ascp –help查看帮助文档说明安装成功。

从NCBI上单个文件下载命令：

ascp-i /home/gyao/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l 200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/ERR/ERR526/ERR526291/ERR526291.sra./download_dir/

速度还是挺快的~

关键的问题是解决上述314个文件批量下载，我的方法是利用前面下载的SRR_Acc_List.txt文件，用python写一个简单的脚本，批量执行断点下载。

基本思路是：写一个translate.py脚本，将SRR_Acc_List.txt内容转换为ascpera可识别的格式，并写入SRR_Acc_ascp.sh文件（这是一个可执行脚本.sh），bash运行SRR_Acc_ascp.sh脚本文件。

Translate.py的coding:

输出的SRR_Acc_ascp.sh文件内容（部分）如下：

命令行：

nohup bash SRR_Acc_ascp.sh &

可以关机回去睡觉了，目前速度还不错，希望明天早上起来有好消息~