如何修改hugging face的模型默认下载地址 new

原创已于 2024-11-27 16:58:51 修改 · 261 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #pytorch #人工智能

于 2024-11-27 16:57:51 首次发布

在别在模块加载之前设置，或者在环境变量里设置


import os
os.environ['XDG_CACHE_HOME'] = "D:/_torch-cache" # os.getcwd()
os.environ['HF_HOME'] = "D:/_torch-cache/huggingface"
os.environ['HF_HUB_CACHE'] = "D:/_torch-cache/huggingface/hub"
os.environ['TORCH_HOME'] = "D:/_torch-cache/torch" # os.getcwd()
os.environ['TRANSFORMERS_CACHE'] = "D:/_torch-cache/huggingface/hub"

from transformers import (pipeline)
import torchvision.models as models
。。。

查了很多文档说的很不准确，跟踪了一下代码才找全

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

帅老头123

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Hugging Face系列1：详细剖析Hugging Face网站资源——models/datasets/spaces

shao918516的博客

05-15

4726

本篇主要介绍Hugging Face。它的核心产品是Hugging Face Hub，这是一个基于Git进行版本管理的存储库，已托管大量模型、数据集及Spaces应用。另外，Hugging Face还开源了一系列的机器学习库和界面演示工具Gradio。Hugging Face设计开发了很多学习资源，比如与NLP、扩散模型及深度强化学习等。本篇还介绍了大量Spaces应用，如IDM-VTON、IC-Light、LLM Leaderboard及stable-diffusion-xl-base/refiner等。

如何使用Hugging Face微调大语言模型（LLMs）

python122_的博客

08-10

1735

而且无需进行额外的训练。但是，如果你想为你的应用定制模型，可能需要在你的数据集上对模型进行微调，以获得比直接使用或训练更小型模型更高质量的结果。本文将介绍如何使用Hugging Face的。

参与评论您还未登录，请先登录后发表或查看评论

在国内如何快速下载hugging face模型，并设置下载路径

爱莲说的博客

12-24

680

【代码】在国内如何快速下载hugging face模型，并设置下载路径。

如何解决huggingface默认下载路径（windows）

weixin_74001851的博客

04-23

5829

注意，这里我使用了--cache-dir而非--local-dir，我也是再其它博客上看到的，个人不知道是否有影响，如有影响请请在评论区指正。通常为.conda\envs\“虚拟环境名”\Lib\site-packages\huggingface_hub。到此位置，博主已经可以将huggingface的模型下载到指定文件夹了。将画横线的部分替换成自己指定的下载路径。

抱抱脸（hugging face）教程-中文翻译-共享定制模型

wwlsm_zql的博客

03-29

6110

共享定制模型 Transformers库的设计很容易扩展。每个模型都完整地编码在存储库的给定子文件夹中，没有任何抽象，因此您可以轻松地复制建模文件并根据需要对其进行调整。如果您正在编写一个全新的模型，那么从头开始可能会更容易。在本教程中，我们将向您展示如何编写一个自定义模型及其配置，以便它可以在 Transformers 内部使用，以及如何与社区共享它(通过它所依赖的代码) ，以便任何人都可以使用它，即使它不在 Transformers 库中。我们将通过将 timm 库的 ResNet 类包装到 Pre

手把手教你玩Hugging Face

cuiyuan605的专栏

04-19

2万+

手把手教你在Hugging Face上玩人工智能

Huggingface的介绍

顺其自然~专栏

04-09

5929

Huggingface即是网站名也是其公司名，随着transformer浪潮，Huggingface逐步收纳了众多最前沿的模型和数据集等有趣的工作，与transformers库结合，可以快速使用学习这些模型。目前提到NLP必然绕不开Huggingface。进入Huggingface网站，如下图所示。其主要包含：1）Models（模型），包括各种处理CV和NLP等任务的模型，上面模型都是可以免费获得2）Datasets（数据集），包括很多数据集。

【大模型微调学习6】-实战Hugging Face Transformers工具库

m0_61222152的博客

12-17

1226

从0开始掌握Hugging Face的基本使用，通过每一个样例进行实战学习

使用Hugging Face平台下载模型&在HF平台上使用Spaces部署intern_cobuild&模型上传

quentinrt的博客

11-21

2052

2.通过CLI上传 Hugging Face同样是跟Git相关联，通常大模型的模型文件都比较大，因此我们需要安装git lfs，对大文件系统支持。注意到在CodeSpace平台上是没有GPU资源的，因此我们Python代码中只使用CPU进行推理，我们需要修改跟CUDA有关的API，在。注意，如果git push 报错，可能是第一次上传时需要验证，请使用以下命令，注意替换<>里面的内容，然后再次git push一下就可以了。运行程序，等待几分钟后，会在控制台返回模型生成的结果（解除注释后），完成下载及运行。

使用Hugging Face构建大型语言模型应用

python122_的博客

08-12

1509

摘要可以分为两种形式：抽取式摘要（extractive）：从文本中选择代表性的摘录作为摘要。生成式摘要（abstractive）：通过生成新的文本来形成摘要。在本文中，我们将使用生成式摘要模型。背景阅读：Hugging Face的摘要任务页面列出了支持摘要的模型架构。摘要章节提供了详细的操作指南。在本节中，我们将使用以下内容：数据集：xsum数据集，该数据集提供了一系列BBC新闻文章和相应的摘要。模型：t5-small模型，该模型具有6000万个参数（对于PyTorch而言是242MB）。

不会修改HuggingFace模型下载默认缓存路径？一篇教会你!

最新发布

longxiaotian718的博客

03-08

5547

1）注册并登录HuggingFace平台：首先，你需要在HuggingFace官网上注册一个账号并登录。这将使你能够访问平台上的所有资源和功能。2）选择合适的模型和数据集：在平台上浏览并选择合适的预训练模型和数据集。你可以根据自己的需求和任务来选择相应的模型和数据集。3）下载并加载模型和数据集：一旦选择了模型和数据集，你可以直接下载并加载到本地环境中。HuggingFace提供了详细的文档和教程来帮助你完成这个过程。4）进行NLP任务：使用加载好的模型和数据集进行NLP任务。

HuggingFace——切换国内源下载

Irving.Gao的博客

11-11

1341

【代码】HuggingFace——切换国内源下载。

Windows修改huggingface模型下载地址

weixin_72973634的博客

01-20

6511

更改huggingface模型下载地址方法

如何修改模型下载的默认路径

02-28

### 修改机器学习模型或AI模型下载的默认路径对于不同的库和框架，修改模型下载的默认保存位置的方法有所不同。 #### 使用 `scikit-learn` 的情况下 `scikit-learn` 自身并不直接涉及模型权重或其他大型二进制文件的网络下载操作；通常是在使用某些预训练模型时才会涉及到外部资源获取。如果依赖于其他组件（比如 Hugging Face Transformers 库），则可以通过设置环境变量来改变缓存目录的位置[^1]： ```bash export TRANSFORMERS_CACHE=/path/to/new/cache/dir ``` 或者在 Python 脚本内部临时覆盖此环境变量： ```python import os os.environ['TRANSFORMERS_CACHE'] = '/path/to/new/cache/dir' ``` #### 当使用 TensorFlow 时 TensorFlow 提供了一个名为 `TFHUB_CACHE_DIR` 的环境变量用于控制 tensorflow_hub 中 Hub 模型存储的位置[^3]: ```bash export TFHUB_CACHE_DIR=/desired/path/ ``` 同样可以在 Python 程序里动态设定: ```python import os os.environ["TFHUB_CACHE_DIR"] = "/desired/path/" ``` 另外，当利用 Keras 下载 ImageNet 预训练权重等资料时，可以调整 `KERAS_HOME` 变量指向自定义的目标文件夹： ```bash export KERAS_HOME=/custom/keras/home/ ``` Python 内部设置方式如下所示： ```python import os os.environ['KERAS_HOME'] = '/custom/keras/home/' ``` #### 对于 PyTorch 用户而言 PyTorch 支持通过设置 `TORCH_MODEL_ZOO` 或者更现代的方式是使用 `TORCH_HOME` 来指定模型存放地址[^2]: ```bash export TORCH_HOME=/your/preferred/location/ ``` 也可以在脚本开头部分这样写入代码片段实现相同效果： ```python import os os.environ['TORCH_HOME'] = '/your/preferred/location/' ``` 以上方法适用于大多数常见场景下的需求，具体应用还需参照所使用的特定库文档说明进行适当调整。