linux中Aspera下载安装以及使用Aspera批量下载

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

Aspera

Aspera 是 IBM 提供的一款高性能数据传输解决方案，利用了专有的 FASP（Fast Adaptive Secure Protocol） 协议。该协议在高延迟、低带宽情况下表现优异，可以实现高效、安全的大文件传输。

一、下载安装Aspera

1.通过conda安装

通过conda安装

conda install -c hcc aspera-cli -y

2.检查是否安装成功

输出帮助文档则安装成功

ascp -h

3.查找密钥

which ascp

输出如下

~/anaconda3/envs/HumanOral/bin/ascp

4.检查

把上面输出中/bin/ascp换成/etc/asperaweb_id_dsa.openssh

ls ~/anaconda3/envs/HumanOral/etc/asperaweb_id_dsa.openssh

输出如下

/home/yangsi/anaconda3/envs/HumanOral/etc/asperaweb_id_dsa.openssh

二、aspera批量下载数据

1.shell脚本（下载COGR基因组数据为例）

COGR基因组序列数据地址

#!/bin/bash

# 配置 Aspera 相关信息
ASPERA_KEY="aspera_download.key"
ASPERA_USER="aspera_download"
ASPERA_SERVER="183.239.175.39"
REMOTE_PATH="/pub/CNSA/data5/CNP0003047"
DOWNLOAD_DIR="./COGR"
PORT=33001

# 创建本地下载目录（如果不存在）
mkdir -p "$DOWNLOAD_DIR"

# 设置文件编号范围（可以根据实际情况调整）
START=49108
END=50196

# 循环下载每个文件
for i in $(seq $START $END); do
    # 格式化数字，生成远程文件路径
    REMOTE_FILE="$ASPERA_USER@$ASPERA_SERVER:$REMOTE_PATH/CNS05$i/"
    
    # 打印下载信息
    echo "Downloading $REMOTE_FILE..."

    # 使用 Aspera 的 ascp 命令下载文件
    ascp -i "$ASPERA_KEY" -P "$PORT" -T -k 1 -l 100m "$REMOTE_FILE" "$DOWNLOAD_DIR/"
    
    # 检查下载结果
    if [ $? -eq 0 ]; then
        echo "Downloaded CNS05$i successfully."
    else
        echo "Failed to download CNS05$i."
    fi
done

echo "All downloads completed."

2.运行脚本

给脚本赋予可执行权限并运行：

chmod +x asperaDownload.sh
./asperaDownload.sh