如何快速下载Huggingface上的超大模型,不用梯子,以Deepseek-R1为例子

就在昨天DeepSeek-R1模型问世即爆火,37B的大模型,你想部署一下试试吗?我就想试试,毕竟本人有8卡A100可以玩。

首先我们需要从Huggingface下载模型权重,我在国内,文件太大了,下载不了。有方法,有教程,请仔细看。

模型地址:https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main  

下载工具:https://gist.github.com/padeoe/697678ab8e528b85a2a7bddafea1fa4f

1. 安装下载工具。

# 设置镜像地址
export HF_ENDPOINT="https://hf-mirror.com"
# 创建模型下载存放路径
mkdir model_download
# 进入该目录
cd model_download
# 下载所需的脚本
wget 

https://gist.githubusercontent.com/padeoe/697678ab8e528b85a2a7bddafea1fa4f/raw/3ed815fdcef9a30bd985772ab95ca57801c80bfa/hfd.sh
# 修改文件的执行权限
chmod a+x hfd.sh
# 注册执行命令
alias hfd="$PWD/hfd.sh"

2.  下载模型

hfd deepseek-ai/DeepSeek-R1 --tool wget

如果不指定参数 --tool wget,会报如下错误, 建议加上 --tool wget:

aria2c is not installed. Please install it first.

如果你想用aria2进行下载,难么你需要安装aria2。

sudo apt update

sudo apt install aria2

我分别都体验了,感觉aria2更好用。

先在huggingface官网申请token,然后采用工具huggingface-cli进行下载

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download google/owlvit-base-patch32 --local-dir 保存模型路径 --local-dir-use-symlinks False --resume-download --token 申请的token

### 如何在 Hugging Face 下载 DeepSeek 版本 R1 模型 为了高效且稳定地下载来自 Hugging Face 的大型模型,如 Deepseek-R1,可以采用命令行工具 `git-lfs` 和 Python 库 `transformers` 提供的方法来实现自动化下载过程[^1]。 #### 使用 Git LFS 方法 对于那些希望通过命令行操作的用户来说,安装 Git Large File Storage (LFS) 是一种有效的方式。通过这种方式可以直接克隆整个仓库至本地环境: ```bash git lfs install git clone https://huggingface.co/deepseek-ai/DeepSeek-R1.git cd DeepSeek-R1 ``` 这种方法适用于希望获取项目全部文件结构的情况,并能确保获得完整的版本历史记录。 #### 利用 Transformers 库自动加载 另一种更为简便的办法是利用 Hugging Face 自家开发的 `transformers` 库,在 Python 中只需几行代码即可完成指定模型及其权重参数的下载工作: ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "deepseek-ai/DeepSeek-R1" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # 将模型保存到本地目录 save_directory = "./DeepSeek_R1_model/" tokenizer.save_pretrained(save_directory) model.save_pretrained(save_directory) ``` 上述脚本不仅能够下载最新的可用版本,还可以根据需求调整变量 `model_name` 来指向不同分支或标签下的具体版本号,从而精确控制所要下载的目标版本[^3]。 #### 注意事项 当涉及到非常庞大的预训练模型时,网络状况可能会显著影响下载速度甚至成功率;因此建议在网络条件较好的时候执行这些操作。另外需要注意的是,某些地区可能因为网络策略的原因而难以直接访问 Hugging Face 官方服务器,此时可考虑寻找可靠的镜像站点作为替代方案。
评论 22
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值