通过阿里云盘+colab下载 huggingface大模型

最新推荐文章于 2025-02-22 13:43:03 发布
最新推荐文章于 2025-02-22 13:43:03 发布
阅读量2.1k 收藏 22
点赞数 16
CC 4.0 BY-SA版权
文章标签： ai 人工智能 python 语言模型 stable diffusion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u011075046/article/details/134845584
本文介绍了一种通过阿里云盘和GoogleColab结合的方法，显著提高了下载HuggingFace大模型如Yi-6B的速度，相比镜像站，下载时间缩短了数小时。作者提供了详细的步骤，包括获取refresh_token、使用Colab下载、上传至阿里云及下载回本地的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言：

基本所有AI大模型现在托管在huggingface上，国内是无法直接访问的，即使用了镜像站，一个7B的大模型也有至少15G，而镜像站只有1M/s 左右的速度，下载一个6B的模型就要5个小时了；

通过一轮摸索，发现阿里云盘+colab可以大大提速大模型下载时间，有需要的小伙伴可以收藏一下了，下面以开复老师的零一万物大模型Yi-6B举例；

1登陆阿里云盘 获得refresh_token

首先通过chrome浏览器按F12进入控制台，搜索应用，找到本地存储空间，从token拿到refresh_token，保存到笔记本；

2 colab模型下载huggingface大模型

去colab新建一个python笔记本，可以直接上传我github的源码。

拿到Yi-6B大模型文件

最低0.47元/天 解锁文章

200万优质内容无限畅学
Python上传和下载阿里云盘的实战代码
herosunly的博客
10-09 4万+
本文主要介绍了Python上传和下载阿里云盘的实战代码，希望对在不同环境下进行阿里云盘文件的上传和下载的同学们有所帮助。 文章目录 1. 前言 2. 安装Python库 3. 实战代码 3.1 上传文件夹 3.2 下载文件夹 3.3 下载文件
无显卡用google colab或阿里云DSW学CUDA编程的环境配置教程
qq_55051321的博客
12-21 2577
在搜 “没有显卡怎么学CUDA编程” 、 “怎么配置google colab的CUDA编程环境” 、 “怎么配置阿里云DSW的CUDA编程环境” 的时候并没有太多相关文章，就顺带着写下了这个文章，如果有需要的话可以看看。
HuggingFace 国内下载 阿里云盘下载速度20MB/s
jieshenai的博客
10-25 2651
国内使用阿里云盘下载huggingface模型权重。海外服务器上传模型到阿里云盘。
阿里云服务器通过镜像下hunggingface上的模型
小菜鸟
06-27 1165
参考连接https://blog.youkuaiyun.com/lanlinjnc/article/details/136709225。打开https://hf-mirror.com网站，搜索模型名，如下，复制就行。-resume-download后面的参数要填模型，怎么填呢？
【白嫖GPU服务器】colab和阿里云的DSW
Zheng113的博客
01-02 2650
白嫖colab和阿里云gpu服务器dsw
【HG模型】huggingface一些项目的百度盘链接
最新发布
babyta的博客
02-22 583
链接: https://pan.baidu.com/s/1bZD-HOoN37WZyyJUKFjX6A 提取码: gbfz。链接: https://pan.baidu.com/s/1re8CtbKtv90M7vmuOK0VkA 提取码: prmx。链接: https://pan.baidu.com/s/1A6CZHyLaxLbFECYSrpirZQ 提取码: j3eg。通过网盘分享的文件：SkyReels-V1-Hunyuan-I2V。通过网盘分享的文件：SkyReels-V1-Hunyuan-T2V。
基于阿里云盘OpenAPI的Java实现云盘上传下载工具设计源码
09-30
该工具采用阿里云盘的OpenAPI进行开发，OpenAPI是应用程序接口的简称，它为开发者提供了访问阿里云盘服务的接口，通过这些接口，开发者可以远程操作云盘，实现文件上传、下载、管理等功能。阿里云盘作为一款云存储...
一款可以定时备份本地目录到阿里云盘的小工具
05-31
将备份目标设定为阿里云盘，用户可以享受到阿里云提供的大容量存储空间和稳定的数据服务。 “阿里云盘”作为标签，表明这款小工具是与阿里巴巴集团旗下的云存储服务紧密集成的。阿里云盘以其高速的上传下载速度、...
阿里云盘6.7.3版本
12-17
阿里云盘6.7.3版本
下载大模型，保存阿里云盘
m0_73222051的博客
12-31 2521
大模型下载
Colab
03-10
Colab
使用colab快速下载huggingface的大模型文件
qq_43587443的博客
09-06 2075
第三步，指定需要下载的文件list，执行下载操作，在这里我只下载了几个比较大的参数文件，默认下载路径为/content/download/repo_id，如/content/download/hfl---llama-3-chinese-8b-instruct-v3，在colab的文件夹列表中可以找到。近期在学习大模型的微调与部署应用，需要再huggingface下载预训练好的模型参数文件，这时候问题来了！第二步，导入包，定义函数，并从huggingface获取文件列表，代码参考了。首先我们打开colab，
在Colab上试跑langchain 和 huggingface的整合
qq_23938507的博客
06-21 2084
【2】使用huggingface_hub模型“google/flan-t5-large”来回答问题，huggingfaceHub 类将连接到 HuggingFace 的推理 API 并加载指定的模型。【1】创建问答提示模版Creating a Question-Answering Prompt Template。获取【HUGGINGFACEHUB_API_TOKEN】，登录huggingface官网并完成注册。在colab上安装 huggingface_hub。
PAI平台下载hugging face repository
weixin_51146503的博客
08-12 666
DSW downloads hugging face repository.
Huggingface入门篇 II (QA)
Blog Tim J Lebers
08-04 2021
初步接触sharetask，以及简单的QA任务，上传huggingface模型
huggingface学习 | 云服务器使用hf_hub_download下载huggingface上的模型文件
weixin_47748259的博客
01-20 9369
hf_hub_download是huggingface官方支持（）的下载模型或数据集的方法。实际上用到的参数并不多，一般情况下只需设置repo_id，filename，subfolder，local_dir，token参数即可repo_id：仓库名称filename：需要下载的文件名subfolder：需要下载的文件在仓库中的哪一个文件夹（可选）repo_type：仓库类型（可选），如果不填写就默认下载的是model，否则需要设置对应值（如下载数据集就设为datase）
Google免费云端环境Colaboratory的使用（详细步骤并贴图）--连接云盘与colab及上传本地至云盘
Lyndsey的博客
01-18 2万+
参考博客不过这个博客有一段时间了，有一些界面以及选项也不一样了，所以我将写一个我今天刚做的步骤。 先给一个Colaboratory的网址:Colaboratory 你需要有的： 一个Google帐号，没有的话可以自己创建。 科学上网。 步骤详解 1、右击【我的云端硬盘】-新建文件夹，右击【这个文件夹】–关联更多应用 2、搜素"colab"–关联 3、在主面板右击–【更多】–【colabor...
huggingface模型--下载超时--各种方法总结
mantoureganmian的专栏
05-05 1万+
下载模型超时，模型存放在哪里？
huggingface连接不上的解决方案(持续更新)
热门推荐
herosunly的博客
09-20 11万+
本文主要介绍了huggingface连接不上的解决方案，希望能对学习大模型的同学们有所帮助。 文章目录 1. 背景 2. 解决方案 2.1 解决方案一 2.1.1 第一步 2.1.2 第二步 2.1.3 第三步 2.1.4 可选步骤 2.2 解决方案二
阿里云盘 python 自动下载
08-16
阿里云盘的Python自动化下载通常涉及到网络爬虫技术和阿里云盘API（如果官方提供的话）。首先，你需要通过第三方库如`pyquery`、`requests`等来抓取网页信息，尤其是下载链接。如果阿里云盘有公开的API，你可以使用它们来获取和管理文件。 以下是一个简化的步骤概述： 1. **安装必要的库**：安装`requests`, `beautifulsoup4`（或`pyquery`）用于HTML解析，以及可能需要的任何身份验证库，如`aiohttp`。 ```bash pip install requests beautifulsoup4 aiohttp ``` 2. **模拟登录**：根据阿里云盘的要求创建会话，并可能需要cookies或OAuth令牌来进行身份验证。 3. **查找下载链接**：使用BeautifulSoup或其他工具解析登录后的页面，找到文件的下载链接。 4. **下载文件**：调用`requests.get`或`aiohttp.ClientSession.get`下载文件到本地。 5. **处理进度或错误**：在下载过程中处理可能出现的进度条显示或错误处理。 由于实际操作可能涉及隐私政策和使用条款限制，强烈建议查阅阿里云盘的开发者文档或官方社区，了解是否可以使用自动化工具以及他们的具体指导。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Frank0033

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值