日拱一卒| 从公司拿到的测序数据如何快速批量下载?【华为云,obsutil】

Springboot 从华为云OBS中打包下载文件到本地 OBS中打包下载文件,变成压缩包 阅读详情

适用群体:服务器用户。公司将数据传到了华为云那边,我们通过下述操作直接将测序数据下载到服务器上,规避window下载慢且经常断联的问题。

1.选择合适的obsutil版本

版本链接:https://support.huaweicloud.com/utiltg-obs/obs_11_0003.html
在这里插入图片描述
这里存在一个版本的选择问题。在服务器上输入:

lscpu

请添加图片描述
我在Architecture这边显示的是x86_64,参考链接所提供的对应关系,我选择Linux AMD 64位下载。
在这里插入图片描述

2.obsutil下载和安装

wget https://obs-community.obs.cn-north-1.myhuaweicloud.com/obsutil/current/obsutil_linux_amd64.tar.gz
tar -xzvf obsutil_linux_amd64.tar.gz
cd obsutil_linux_amd64_5.7.3/
chmod 755 obsutil
./obsutil version #这条指令之后如果有如下屏显,则安装成功!

在这里插入图片描述

3. 下载数据文件

一般情况下,公司会提供华为云的地址**[URL]以及下载的提取码**。如下图(我涂掉了一些个人的信息)。
在这里插入图片描述

所以为了下载这部分数据,我们的obsutil的指令可以为:

./obsutil share-cp 你的URL 你要保存的路径  -ac=你的密码 -f -r -vmd5

将上述指令替换成你的数据信息即可,很快就下载完成了。

生物信息神奇网站系列(九):批量下载序列 在《手把手教你生信分析平台搭建专栏》中,我们介绍过利用Aspera快速下载生物数据,例如下载某个物种基因组数据。但是如果想下载来自多个物种的不同基因序列,例如给定一个基因列表list,如何下载到这些序列呢?这就需要用到Batchentrez。 九:批量下载序列Batchentrez https://www.ncbi.nlm.nih.gov/sites/batchentrez 批量下载基因序列有多种... 阅读详情

相关推荐

华为云OBS性能优化实战:从代码到配置的全方位调优指南

本文详细介绍了华为云OBS性能优化的全方位策略,涵盖代码实现、系统配置和网络架构等多个层面。通过分段上传、并发控制和硬件优化等技巧,显著提升OBS的上传下载速度,适用于AI训练、大数据分析等高吞吐场景。文章还提供了实战代码示例和工具参数配置建议,帮助开发者最大化利用华为云OBS的性能潜力。

weixin_28455801的博客 784

高效开发工具利器:OBSUtil安装与使用指南

OBSUtil是腾讯云对象存储服务(OBS)的客户端工具,它提供了丰富的功能,包括文件上传、下载、删除、文件管理、存储桶管理等。OBSUtil支持多种操作系统,包括Windows、macOS和Linux。通过本文的详细讲解和实例演示,我们可以看到OBSUtil在高效开发工具中的作用。它提供了一种便捷的方式,用于管理和操作腾讯云对象存储服务。随着技术的不断进步,我们有理由相信,OBSUtil将在未来发挥更大的作用,为开发者提供更加高效和便捷的解决方案。

qq_44103359的博客 1269

三极管简单振荡电路实现:从零开始的实战示例

通过一个基础实例,手把手教你如何利用三极管构建简单的振荡电路,深入理解三极管在实际电路中的工作原理与应用技巧。

weixin_32836713的博客 1198

搭建华为云鲲鹏弹性云服务器ECS,并使用obsutil通过内网访问对象存储服务OBS下载对象文件

搭建华为云鲲鹏弹性云服务器ECS,并使用obsutil通过内网访问对象存储服务OBS下载对象文件

qq_54958500的博客 3469

二维卡尔曼滤波位置,速度融合

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...

Johnlee2019的博客 8449

用STM32CubeMX和HAL库,5分钟搞定TB6612驱动直流电机(附完整代码)

本文详细介绍了如何使用STM32CubeMX和HAL库快速配置TB6612驱动直流电机,包括硬件连接、CubeMX工程配置、电机驱动逻辑实现及进阶优化技巧。通过图形化工具和代码示例,即使是新手也能在5分钟内完成电机调速系统的搭建,大幅提升开发效率。

weixin_26854829的博客 266

下载阿里云OSS上的文件及文件夹

oss存储批量下载。ossutil工具

m0_49535395的博客 5355

【Get深一度】小波分析概念1——紧支撑集是什么意思,通俗解释

最近学到小波,在仿真中也用到了紧支撑函数;紧支撑性越好,说明能量越集中;用最通俗的话来讲,紧支撑是这样的: 对于函数f(x),如果自变量x在 0附近的取值范围内,f(x)能取到 C; 而在此之外,f(x)取值为 0; 那么这个函数f(x)就是紧支

Trey_优快云 的优快云博客 8347

[linux] ossutil上传下载工具使用指南

mac本地下载ossbrowser。

心宝的博客 859

AlphaFold2算法详解

正文:https://www.nature.com/articles/s41586-021-03819-2 补充文件:https://static-content.springer.com/esm/art%3A10.1038%2Fs41586-021-03819-2/MediaObjects/41586_2021_3819_MOESM1_ESM.pdfhttps://static-content.springer.com/esm/art%3A10.1038%2Fs41586-021-03819-2/Med

Daisy4的博客 1万+

【数据集总结】不透水面积ISA:GAIA、CLUD-Urban、GISA

【数据集总结】不透水面积ISA:GAIA、CLUD-Urban、GISA

WW、forever的博客 2151

linux脚本调用obsutil,OBS命令行工具Obstuil使用说明

华为云OBS支持Windows、MacOS以及Linux系统下以命令行来下载,官方推荐的命令行工具为obsutil,官方详细说明文档链接:https://support.huaweicloud.com/utiltg-obs/obs_11_0001.html说明1、使用前,请确保软件为最新版本。2、本文档适用于“分享链接+提取码”的数据释放方式。3、链接有有效期,到期后无法延长有效期,只能重新生成链...

weixin_33328836的博客 1434

快速卷积结构FIR数字滤波器的设计与ARM平台实现

本文提出了一种基于快速卷积结构的FIR数字滤波器设计与实现方案。通过Matlab设计了满足特定指标的低通FIR滤波器,采用重叠-保存法和重叠-相加法两种快速卷积算法,将计算复杂度从O(N·M)降低到O(NlogN)。详细介绍了滤波器系数生成、性能验证流程,并提供了ARM平台C语言实现的关键技术,包括定点量化处理。实验结果表明,该方法能有效滤除混合信号中的高频干扰,保留目标1kHz正弦信号,验证了设计方案的有效性。

huanghm88的专栏 121

linux下上传华为云OBS---obsutil使用指南

一、可以通过浏览器上传 二、用obsutil 1、下载和安装obsutil wget https://obs-community.obs.cn-north-1.myhuaweicloud.com/obsutil/current/obsutil_linux_amd64.tar.gz 解压: tar -xzvf obsutil_linux_amd64.tar.gz 进入obsutil所在目录,执行以下命令,为obsutil增加可执行权限。 chmod 755 obsutil 2、 配置obsutil .

xujianjun229的博客 4059

【CicadaPlayer】av_rescale_q 学习:转换PTS和Duration

参考 av_rescale_q()理解 大神时间基准的总结: AVPacket下的pts和dts以AVStream->time_base为单位(数值比较大),时间间隔就是AVStream->time_base。 大神:多种转换的总结 av_rescale_q用于计算Packet的PTS 如: if (pkt->pts != AV_NOPTS_VALUE) { pkt->pts = av_rescale_q(pkt->pts, m

突围 839

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

华为OBS命令行简单使用

在上面的命令中,`localfile`是`example.txt`文件的本地路径(如果当前目录就是文件所在目录,则可以直接写文件名)。`your-bucket-name`是你的OBS桶名,用于指定要下载文件所在的桶。通过简单的命令和参数,你可以轻松地上传、下载、删除和查看OBS桶中的文件。在上面的命令中,`your-bucket-name`是你的OBS桶名,`path/to/file/`是要删除文件的路径。与上传文件相反,下载文件是将OBS桶中的文件保存到本地的操作。**五、列出桶中的对象**

琳琳的博客 2660

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

华为云下载桶资源中的文件/Linux客户端下载

→ 必须指定完整目标文件路径场景正确组合下载单文件到指定路径cp 源 目标文件路径下载整个目录-r跳过已存在文件-u不再询问 y/n-f按目录名过滤-include='*关键字*/*'安全演练-dryRun通过合理组合obsutil可以胜任生产级大规模目录下载、增量同步、精确过滤等复杂场景。理解“前缀 + 过滤规则”,就掌握了 obsutil 的 80% 能力。如果你需要:自动化脚本定时任务(cron)按时间窗口同步大规模并发优化这套文档可以直接作为下一步扩展的基础。

apple_53323135的博客 1189

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Ubuntu系统obsutil使用说明

一般将服务器等平台文件先上传至obs,然后再从obs下载到本地。obs地址一般固定,具体看情况,以下为示例。实际上,要和服务器等平台上配置的保持一致使用,比如。上传服务器等平台文件到obs。

yongniao9185的博客 1403

华为云OBS文件上传下载工具类

出错原因 : idea为了能够更快的使用共享索引,会下载JDK和Maven库的共享索引,给你的的项目代码构建共享索引。但是由于国内的网络环境,导致下载索引速度过慢,idea无法成功下载这个索引就会导致这个问题。解决问题: 打开idea的设置,.........

山路曲折盘旋,但毕竟朝着顶峰延伸 9033

如何使用 Springboot 集成华为云 OBS 服务,实现批量上传、下载或复制对象?

华为云 OBS(Object Storage Service)是基于对象存储技术的分布式存储服务,可以实现互联网级别的海量数据存储与管理。在实际应用场景中,我们往往需要将大量的文件或对象存储到云端,或者从云端进行大规模的数据下载或者复制。Springboot 集成华为云 OBS 可以帮助我们方便地实现这些功能。华为云OBS的链接:https://www.huaweicloud.com/intl/zh-cn/product/obs.html。

网络技术联盟站 1800

华为OBS obsutil使用

5.2 上传文件 往指定桶复制文件(test01文件夹不被上传)5.1 上传文件 往指定桶复制文件(test01文件夹也被上传)4.下载指定桶的所有文件 下载指定桶的所有文件。3.配置 指定AK SK endpoint。2.双击obsutil.exe。1.双击setup.bat。

qq_31683775的博客 723

华为云使用obsutil 上传一个文件下的所有文件(不包括文件夹本身)到OBS桶

递归上传本地src1文件夹中的所有文件和文件夹(不包括src1文件夹本身)至bucket-test桶的根目录下,且上传过程中不进行询问操作,命令如下: ./obsutil cp /src1 obs://bucket-test -r -f -flat 主要是参数-flat 更多上传示例及 参数请查看 更多示例 参数解释说明 ...

知无涯 5703

mindspore学习之使用obsutil工具向桶中上传数据

我们在使用obs服务时,一般是自己建立文件夹,但是如果我们的数据集包含大量文件夹时,自己建立似乎不是一个好办法,那么如何批量向桶内的文件夹中上传数据呢,今天我们就来见识一下obsutil这个小工具的厉害,obsutil是一个非常小的工具,下载后免安装即可使用。 1.下载obsutil工具: 链接:https://support.huaweicloud.com/utiltg-obs/obs_11_0003.html 2.选择合适的版本进行下载,这里我下载的是windows版本的,下载后解压 3

qq_41368074的博客 1153

java批量下载demo_OBS JAVA SDK 实践8:批量下载文件(e.g 下载文件夹)

1背景介绍& 效果展示通过OBS JAVA SDK可以实现批量下载文件,如下载文件夹,效果如下。注:有关标准存储、低频访问、归档存储三种存储类型的更多信息,参考链接:https://support.huaweicloud.com/usermanual-obs/zh-cn_topic_0050321036.html图1 桶下面有“FunctionGraphDemo-VideoConvert/...

weixin_32916125的博客 1162
上一篇: 怀念之前心无旁骛学习的时刻,重回博客?
下一篇: 日拱一卒 | RNA-seq数据质控(1)
今天也是个妖精头子呀
博客等级 码龄9年 504粉丝 175原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值