青云bucket数据如何快速批量下载

前几天看到青云的bucket每个月要1000块钱 正好身边又有nas 所以准备把bucket里面的数据迁移了过来  但是青云官方提供的方法都只能下单个文件  不支持文件夹下载  所以我就写了个脚本   可以批量下载文件夹  并且支持多线程下载 

准备工作

  1. 一台装有linux系统的电脑(不过我用的是ubuntu,其他linux没测试过)
  2. 一台nas 要支持smb协议(如果是直接下载到电脑里的可以忽略)

1:配置环境

系统需要安装s5cmd这个软件(其他软件我都试过了,都会出各种问题)

打开系统终端   输入

wget https://github.com/peak/s5cmd/releases/download/v2.0.0/s5cmd_2.0.0_Linux-64bit.tar.gz
tar -xvf s5cmd_2.0.0_Linux-64bit.tar.gz
sudo mv s5cmd /usr/local/bin/

安装好了之后在终端输入(安装时建议打开科学上网,不然有可能会下载失败)

s5cmd version

应该会看到输出信息

2:获取密钥

你需要在青云的bucket界面获取api key和access key 获取方法如下

打开青云bucket界面

然后点击使用指南  往下滑 找到qsctl

点进去  然后找到QingCloud管理控制台  在里面点击创建api key

然后下载csv文件

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值