换源下载huggingface上的模型

myccmj

已于 2024-10-19 21:46:12 修改

阅读量594

点赞数 2

CC 4.0 BY-SA版权

文章标签： python 人工智能

于 2024-08-21 22:13:59 首次发布

本文链接：https://blog.youkuaiyun.com/myccmj/article/details/141393196

自己用huggingface的transformers库跑示例的时候发现一直time out，可能是需要翻墙的原因，但我用的是某平台的计算资源，只能在jupyter里面操作，于是想试试换源。搜索之后，发现可以从镜像网站上快速进行git下载。具体操作如下：

首先得安装git-lfs，可用如下命令

sudo apt install git-lfs

然后检验一下是否能成功初始化

git lfs install

成功的话会出现Git LFS initialized.

如果出现了Error: Failed to call git rev-parse --git-dir --show-toplevel: "fatal: not a git repository (or any of the parent directories): .git\n"，说明还未进行初始化，可以用

git init

初始化当前目录为git仓库，然后再git lfs install。

然后从镜像网站上下载你想要的模型，我使用的是https://hf-mirror.com/，比如想下载CodeLlama-7b-Python-hf，则用如下命令

git clone https://hf-mirror.com/codellama/CodeLlama-7b-Python-hf

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

myccmj

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

huggingface高速下载模型的实战代码

herosunly的博客

01-27

28万+

本文主要介绍了huggingface高速下载模型的实战代码，尤其是无法通过国内源进行下载的huggingface模型，希望能对学习大模型的同学们有所帮助。需要特别说明的是，本文的代码是完全原创的，即能够最大限度利用宽度的速度，而且还能实现断点续传。文章目录 1. 背景 2. 实战代码

huggingface无法下载模型的实战代码

herosunly的博客

10-11

4万+

本文主要介绍了huggingface无法下载模型的实战代码，希望能对学习大模型的同学们有所帮助。文章目录 1. 背景 2. 实战代码

参与评论您还未登录，请先登录后发表或查看评论

huggingface_hub 设置国内镜像

jasonhongcn的专栏

06-27

5651

要设置HuggingFace Hub的国内镜像，你可以按照以下步骤进行操作，以确保从国内镜像站点下载Hugging Face模型和数据集。

HuggingFace换源

GodGump的博客

05-19

1929

进入huggingface的主页然后找到设置(setting)点击show以后，获取token。在需要换源的文件前加上下列代码。在需要换源的文件前加上下列代码。

huggingface通过更改域名切换国内镜像源hf-mirror

m0_54007171的博客

07-20

1888

【代码】huggingface通过更改域名切换国内镜像源hf-mirror。

HuggingFace——切换国内源下载

Irving.Gao的博客

11-11

1098

【代码】HuggingFace——切换国内源下载。

换源下载Huggingface模型权重，以及出现[Errno 13] Permission denied : ‘/.cache‘

ljt998的博客

07-10

1672

是由于huggingface会默认去/home/ubuntu的/.cache文件夹下读取已下载的模型权重，而/.cache无读写权限。因此，需要修改Huggingface的环境变量HF_HOME，使用/.cache以外的其他目录作为缓存路径。

本地下载huggingface模型并在服务器上使用流程

weixin_44151034的博客

06-24

8637

AutoModelForSequenceClassification 类是基于PyTorch的，因此需要安装PyTorch才能使用。我发现：大家加载huggingface模型，基本都是使用这两条代码来下载相关的文件的，所以我们只要找到这两条代码在哪里，就能找到文件的下载位置。但是我还是感觉很奇怪，就是它们是怎么知道需要把模型下载到哪里的，我能不能下次代码报错，自己发现需要把代码下载到哪里？之后我就通过代码连接不成功的报错，还有一些调试搜索方法，在这个头文件中找到这两行相关代码。参考了上面的帖子，找到了。

玩转大语言模型——ollama导入huggingface下载的模型

艾醒的博客

01-06

3592

ollama在大语言模型的应用中十分的方便，但是也存在一定的问题，比如不能使用自己微调的模型或者当前的模型并没有做ollama官网兼容的时候，从外部导入模型就十分必要。本章将会介绍两种常见格式模型导入ollama的方式。

windows系统huggingface连接不上的解决方案

热门推荐

herosunly的博客

09-01

16万+

本文主要介绍了windows系统huggingface连接不上的解决方案，希望对学习大语言模型的同学们有所帮助。文章目录 1. 前言 2. 解决方案 2.1 解决方案一 2.2 解决方案二

快速设置HuggingFace镜像源：简单易懂教程

DaVenci的博客

04-15

2万+

快速简单的设置huggingface镜像源，让模型跑起来。

大模型笔记之-如何从huggingface克隆源码及模型文件

JunHowie的个人Blog

11-09

1482

本文将介绍怎么使用git clone的命令获取huggingface的文件。

transformers模型默认下载地址

alim2012的博客

07-21

3642

运行下段代码，系统会下载模型。

【保姆教学】huggingface_hub 国内高速下载保姆级教学（win和Linux系统，huggingface-cli）

qq_42296238的博客

08-26

4089

huggingface-cli 是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。部分 Gated Repo 需登录申请许可。为保障账号安全，本站不支持登录，需先前往。3.2 下载数据集（没试过，需要的自行研究下）官网登录、申请许可，在官网这里获取。后回镜像站用命令行下载。

解决huggingface中模型无法自动下载或者下载过慢的问题

NEW

04-01

3万+

项目场景：调用hugging face公开模型数据集中的transformers模型。问题描述默认源在国内下载模型过慢，甚至不开始下载。原因分析：部分博客解决方案为：在from_pretrained中添加参数mirror="tuna" 将下载源替换为清华源。 tokenizer = BertTokenizer.from_pretrained("bert-base-uncased", mirror="tuna") 然而，清华源现在不支持hugging face的下载（2021.8月之后）。

使用镜像源下载Hugging Face模型

Edward__J的博客

11-13

3016

hugging face 中的许多模型国内下载不了，本文提供了一种通过脚本批量下载模型权重配置文件的方法。

Huggingface_hub更换下载源

Cynbage的博客

07-04

181

找到环境中Huggingface_hub库所在的位置，例如“\anaconda3\envs\env-name（你的环境的名字）\Lib\site-packages\huggingface_hub”，找到其中的constants.py文件，用记事本打开，将其中HUGGINGFACE_CO_URL_HOME与_HF_DEFAULT_ENDPOINT的值修改为"https://hf-mirror.com"，保存后关闭即可。），可能是由于网络限制、代理问题或访问速度过慢。具体原因是网络连接超时（

huggingface.co 无法访问问题换源解决

滴水成川

09-01

1000

Hugging Face是一家美国公司，专门开发用于构建机器学习应用的工具。该公司的代表产品是其为自然语言处理应用构建的transformers库，以及允许用户共享机器学习模型和数据集的平台。既然是美国的公司，自然涉及到科学上网的问题，但是科学上网并不稳定。换源之后记得重启服务，重启之前记得执行 export 对应变量。

Huggingface下载模型的几种方式

weixin_46316820的博客

12-26

8792

【代码】Huggingface下载模型的几种方式。

huggingface上下载模型

最新发布

07-13

要从 Hugging Face 平台下载预训练模型，可以通过其 `Transformers` 库提供的 `from_pretrained` 方法轻松实现。以下是具体的操作步骤和代码示例： ### 使用 Transformers 库下载模型 1. 安装必要的库（如果尚未安装）： ```bash pip install transformers ``` 2. 使用 Python 脚本下载模型。以下是一个使用 `AutoModel` 和 `AutoTokenizer` 下载 `bert-base-uncased` 模型的示例： ```python from transformers import AutoTokenizer, AutoModel # 指定模型名称 model_name = "bert-base-uncased" # 初始化 Tokenizer tokenizer = AutoTokenizer.from_pretrained(model_name) # 编码输入文本 text = "This is a test sentence." encoded_input = tokenizer.encode(text, return_tensors="pt") print("Encoded input:", encoded_input) # 下载并加载模型 model = AutoModel.from_pretrained(model_name) # 获取模型输出 output = model(encoded_input) print("Model output:", output) ``` ### 指定本地存储路径如果你希望将模型保存到特定的本地路径，而不是默认的缓存目录，可以使用 `cache_dir` 参数来指定存储路径： ```python from transformers import AutoTokenizer, AutoModel model_name = "bert-base-uncased" cache_dir = "./models" # 自定义模型存储路径 # 指定 cache_dir 参数 tokenizer = AutoTokenizer.from_pretrained(model_name, cache_dir=cache_dir) model = AutoModel.from_pretrained(model_name, cache_dir=cache_dir) ``` 此方法会将模型文件下载并保存到 `./models` 目录下，避免默认存储在用户目录中。 ### 使用镜像源加速下载（适用于国内用户）由于网络原因，国内用户可能无法顺畅访问 Hugging Face 的官方源。可以使用国内镜像源加速模型下载，例如官方推荐的镜像 `https://hf-mirror.com` 或其他国内镜像源。使用方法如下： ```python from transformers import AutoTokenizer, AutoModel # 使用镜像源 model_name = "bert-base-uncased" mirror_url = "https://hf-mirror.com/models/{}/resolve/main/config.json".format(model_name) # 指定 `revision` 参数为镜像地址 tokenizer = AutoTokenizer.from_pretrained(model_name, revision="main", mirror="https://hf-mirror.com") model = AutoModel.from_pretrained(model_name, revision="main", mirror="https://hf-mirror.com") ``` 此外，也可以通过设置环境变量 `HF_ENDPOINT` 来全局使用镜像源： ```bash export HF_ENDPOINT=https://hf-mirror.com ``` ### 使用 CLI 命令行工具下载模型 Hugging Face 还提供了命令行工具 `huggingface-cli`，可以通过以下方式下载模型： 1. 安装 Hugging Face CLI 工具： ```bash pip install huggingface_hub ``` 2. 使用命令行下载模型： ```bash huggingface-cli download bert-base-uncased --repo-type model --revision main ``` 该命令会将 `bert-base-uncased` 模型下载到当前目录。 ### 模型缓存机制 Hugging Face 默认会将模型缓存到本地路径（如 `~/.cache/huggingface/transformers`）[^3]，以避免重复下载。如果你希望强制重新下载模型，可以使用 `force_download=True` 参数： ```python from transformers import AutoModel model = AutoModel.from_pretrained("bert-base-uncased", force_download=True) ``` 这将忽略本地缓存并强制从远程服务器下载模型。 ---