linux下如何下载huggingface模型到本地

最新推荐文章于 2025-06-13 14:29:15 发布

原创最新推荐文章于 2025-06-13 14:29:15 发布 · 1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#linux #运维 #服务器

由于项目需要下载hugginface上的模型：

bge-large-zh-v1.5

使用huggingface-cli 来下载，这个工具是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。

我使用的OS是：CentOS Linux release 7.9.2009 (Core)

具体步骤：

安装huggingface_hub：

pip install huggingface_hub

设置环境变量：（建议写入到.bash_profile中）

export HF_ENDPOINT=https://hf-mirror.com

下载模型：

huggingface-cli download --resume-download BAAI/bge-large-zh-v1.5 --local-dir /models/bge-large-zh-v1.5 --local-dir-use-symlinks False --resume-download

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

波哥bogo

关注关注

3
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【实战教程】linux系统下载huggingface大模型教程

weixin_36488653的博客

04-24

2830

下载大模型

从Huggingface下载大模型到本地

m0_73222051的博客

08-12

1万+

欢迎使用 huggingface 国内镜像站

参与评论您还未登录，请先登录后发表或查看评论

如何在linux远程服务器上直接下载huggingface官网的模型/数据集

m0_58173553的博客

07-20

9308

在AI领域如nlp/cv等，做实验的时候经常会用到huggingface上各种开源的模型，同时也需要远程服务器（如实验室的服务器）的支持，才能有合适的算力并开展实验。本人目前也是nlp方向的新入门的小白，方法也都是网上查来的，浅浅记录一下在远程服务器上下载huggingface的模型和数据集的全过程。具体使用的是huggingface-cli，属于huggingface_hub库，这是HuggingFace官方提供的命令行工具，属于官方工具，那各方面的肯定很完善。下载模型，具体用法如下。

Linux上使用huggingface-cli下载相应模型

最新发布

fengxiaolong12_的博客

06-13

425

然后设置huggingface的国内镜像网站。若安装失败重新再运行一遍代码即可。在命令行中输入后，会提示 "账号需要你输入自己账号的。

Linux上利用镜像下载huggingface模型或数据集

Bizarre_space的博客

12-05

902

模型ID和数据集名称只需点击huggingface上的复制即可。需登录huggingface，点击右上角头像->输入保存的huggingface token。记得保存下来，以便后续使用。

huggingface 下载模型和数据集方法与位置（linux服务器）

frontiers的博客

05-20

1万+

如果可以访问官方教程，建议直接参考官方教程。本文是对官方教程和个人使用经历的片面总结。这里仅仅是把模型下载下来的过程，找到模型和数据集下载位置是为了便于使用本地模型的权重。huggingface的使用环境为python。

linux使用国内镜像源下载huggingface文件

qq_43725659的博客

12-21

4077

Linux下载huggingface模型国内镜像

本地下载huggingface模型并在服务器上使用流程

weixin_44151034的博客

06-24

8714

AutoModelForSequenceClassification 类是基于PyTorch的，因此需要安装PyTorch才能使用。我发现：大家加载huggingface模型，基本都是使用这两条代码来下载相关的文件的，所以我们只要找到这两条代码在哪里，就能找到文件的下载位置。但是我还是感觉很奇怪，就是它们是怎么知道需要把模型下载到哪里的，我能不能下次代码报错，自己发现需要把代码下载到哪里？之后我就通过代码连接不成功的报错，还有一些调试搜索方法，在这个头文件中找到这两行相关代码。参考了上面的帖子，找到了。

解决本地无法从huggingface下载模型的问题

niulinbiao的博客

01-11

1700

我们本地从下载模型文件，因为某些原因，无法下载，会出现下方的错误1.Datasets使用时的数据下载问题。2.Transformer使用报错。

【大模型部署实践-1】从huggingface下载开源模型

qq_40302568的博客

12-15

1555

消费级显卡上部署LLM

【问题解决】huggingface 离线模型下载

dopapapa的博客

05-28

2046

因业务需要在本机测试embedding分词模型，使用 huggingface上的transformers 加载模型时，因为网络无法访问，不能从 huggingface 平台下载模型并加载出现如下错误。下面提供几种模型下载办法。

zzzbge-large-zh-v1.5-model

07-24

zzzbge-large-zh-v1.5_model

[linux] huggingface transformers 如何下载模型至本地 & git lfs install 报错

心宝的博客

06-21

2935

如果不套循环，会报错 " requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))"。最终，我还是给 from_pretrained 套了循环，来解决的。但是 git lfs install 的时候报错。

Linux服务器下载huggingface模型

12-12

761

【代码】Linux服务器下载huggingface模型。

huggingface如何使用ssh命令，下载数据集或者模型比如：git clone git@hf.co:openchat/openchat_8192

qq_41810188的博客

07-10

5500

huggingface使用ssh命令下载数据集或者模型

下载huggingface中数据集/模型(保存到本地指定路径)

热门推荐

MK422的博客

03-30

2万+

1.若需要将数据集/模型放在指定路径，需要指定"cache-dir"参数，而不是“local-dir”2.直接从huggingface中下载对应的模型和数据集，需要外网。因此可以使用国内镜像“HF-Mirror - Huggingface 镜像站。

国内高速下载huggingface上的模型

提笔忘字的帝国

11-28

1万+

Python版本至少是3.8。安装hugging face官方提供的下载工具，配置镜像。

通过clone的方式，下载huggingface中的大模型（git lfs install）

qq_40600379的博客

07-30

2万+

3、再git clone https://huggingface.co/THUDM/chatglm2-6b，在linux可以正常，但是window如果出现了下面的报错，则需要进入chatglm2-6b的目录。2、点击【Clone repository】，在命令行中，输入【git lfs install】（安装了这个，才会下载大文件，不然图中的.bin文件都是不会被下载的）1、如图：可以手动一个个文件下载，但是那样太慢了，此时，可以点击下图圈起来的地方。

Linux huggingface模型下载

03-23

### 下载Hugging Face Transformer模型的方法在Linux环境中下载Hugging Face的Transformer模型可以通过多种方式实现，以下是两种主要方法： #### 方法一：使用官方命令行工具`huggingface-cli` 为了利用Hugging Face官方提供的命令行工具来管理模型下载过程，可以按照以下方式进行操作。 1. **安装`huggingface_hub`库** 需要先确保Python环境已配置好，并通过pip安装最新的`huggingface_hub`包[^2]。 ```bash pip install -U huggingface_hub ``` 2. **登录到Hugging Face账户（如果需要私有模型）** 如果目标模型是私有的或者受访问权限控制，则需执行登录操作以验证身份。 ```bash huggingface-cli login ``` 此时会提示输入API令牌，可以从个人Hugging Face页面获取该令牌。 3. **下载指定模型** 使用`from_pretrained`函数可以直接加载并缓存远程存储库中的预训练权重文件。例如对于公开可用的BERT-base-uncased模型： ```python from transformers import AutoModel, AutoTokenizer model_name = "bert-base-uncased" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModel.from_pretrained(model_name) ``` 这些代码片段会在后台自动处理依赖关系以及实际数据传输逻辑。 #### 方法二：手动克隆仓库至本地当遇到网络连接不稳定或其他原因导致无法正常调用在线接口完成下载任务时，可以选择从第三方镜像站点抓取资源副本作为替代方案之一。 1. **选择合适的镜像源地址** 可考虑采用类似于hf-mirror这样的服务提供者所维护的同步版本库链接[^1]。例如针对CodeLlama系列变体之一——CodeLlama-7b-Python-hf的具体实例化表达形式如下所示： ```bash git clone https://hf-mirror.com/codellama/CodeLlama-7b-Python-hf ``` 2. **解压与部署** 成功复制完成后通常还需要进一步提取压缩包内容并将相应目录结构映射给应用程序识别路径下的组件位置参数设置部分加以引用说明即可正常使用这些离线状态保存下来的资产对象了。 --- 以上就是在Linux平台下有效获取来自Hugging Face社区贡献出来的高质量机器学习成果集合里的具体成员单元项目的指导流程概述描述文档正文结束标志符。