如何跳过Hugging Face下载大模型权重?

在这里插入图片描述

很多小伙伴存在两点疑惑:**第一,不能科学的上网,无法下载;第二,可以科学上网,但下载速度很慢,容易中断=白费。**比如Hugging Face上的大模型权重,在国内如何快速下载该模型呢?
那我就教教大家如何下载Hunyuan3D-1大模型权重,下面是Github给出下载的方式,一头雾水不知如何下载的,请看完~
在这里插入图片描述
本篇文章介绍如何在ModelScope社区下载所需的模型。直接上教程:
在这里插入图片描述
1.首先,打开ModelScope社区网址
网址:https://www.modelscope.cn/home
在这里插入图片描述

2.在搜索框输入Hunyuan3D-1,搜索结果如下:
在这里插入图片描述

3.点击模型文件
在这里插入图片描述

4.选择下载方式
4.1SDK下载

下面展示一些 内联代码片

pip install modelscope
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('AI-ModelScope/Hunyuan3D-1')

不过这种方式会迷人保存在这个文件夹下面:

/home/ubuntu/.cache/modelscope/

如果你通过编程方式使用ModelScope SDK下载模型,可以在下载函数中指定下载路径。例如,使用snapshot_download函数下载模型时,可以设置cache_dir参数:

#模型下载
from modelscope import snapshot_download
model_id = 'AI-ModelScope/Hunyuan3D-1'
cache_dir ='/home/Hunyuan3D-1/weights'
model_dir = snapshot_download(model_id,cache_dir,revision='版本号')
print(f"Model downloaded to: {model_dir}")

备注:revision可不加。
下载速度杠杠的,很赞啊。效果如下:
在这里插入图片描述

4.2Git下载
请确保 lfs 已经被正确安装

git lfs install
git clone https://www.modelscope.cn/AI-ModelScope/Hunyuan3D-1.git

4.3命令行下载
请先通过如下命令安装ModelScope

pip install modelscope

下载完整模型repo

modelscope download --model AI-ModelScope/Hunyuan3D-1

4.4其他下载需求
下载单个文件到指定本地文件夹(以下载README.md到当前路径下“dir”目录为例)

modelscope download --model AI-ModelScope/Hunyuan3D-1 README.md --local_dir ./dir

欢迎关注公众号,一个只跟踪AI技术动态+AI趋势+AI新闻的公众号。
在这里插入图片描述

### 下载Hugging Face模型权重文件 为了从Hugging Face下载模型权重文件,可以采用多种方法。对于某些特定的模型,如ESM系列中的`esm3-sm-open-v1`,由于其特殊的访问权限设置,用户需先注册并获得授权才能进行下载操作[^3]。 #### 使用命令行工具下载 针对需要特殊权限访问的模型,可以通过安装`huggingface_hub`库来实现自动化下载过程。具体来说: ```bash pip install -U huggingface_hub -i https://pypi.tuna.tsinghua.edu.cn/simple/ export HF_ENDPOINT=https://hf-mirror.com ``` 接着利用`huggingface-cli`工具执行下载命令,并指定目标存储目录以及必要的认证令牌: ```bash huggingface-cli download --token hf_xxxxxxxxxxxx --resume-download EvolutionaryScale/esm3-sm-open-v1 --local-dir data/weights ``` 上述命令中,`--token`参数用于提供个人访问令牌;`--resume-download`选项允许断点续传功能开启;而`--local-dir`则指定了保存下载文件的具体路径。 #### 手动下载与加载预训练模型 除了通过API接口自动获取外,还可以选择直接从网页端浏览所需资源页面,找到对应的版本标签页下的“Files and versions”,点击右侧的小箭头按钮以触发浏览器默认的另存为对话框完成下载动作[^2]。之后,在本地环境中调用这些已下载好的模型时,则只需将它们放置于相应的初始化函数的第一个参数处即可正常使用。 例如,当处理T5架构类型的Transformer模型时,可按照如下方式实例化对象: ```python from transformers import T5Tokenizer, T5EncoderModel tokenizer = T5Tokenizer.from_pretrained("/path/to/local/model/directory") model = T5EncoderModel.from_pretrained("/path/to/local/model/directory") ``` 这里假设已经提前完成了模型及其配置文件的手动下载工作,并将其解压至指定文件夹内。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值