python下载HuggingFace的模型

已于 2023-10-23 16:25:47 修改
阅读量769 收藏 1
点赞数
文章标签： nlp 语言模型 人工智能 深度学习
于 2023-10-16 11:58:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_50097745/article/details/133855287
版权
文章介绍了如何在Linux系统上设置HTTP和HTTPS代理以解决网络限制问题，以及如何利用transformers库中的模型处理这种情况。同时提供了在国内没有科学上网环境下使用国内网站提供的模型权重的解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先第一步，在linux上开启魔法、梯子

验证是否开启魔法

curl --proxy http://127.0.0.1:7890 https://www.google.com

如果没有返回谷歌页面的值，说明魔法开启失败。

第二步

proxies = {

    'http': 'http://127.0.0.1:7890/',

    'https': 'http://127.0.0.1:7890/'

}

from transformers import AutoTokenizer, AutoModelForSequenceClassification

model_name = "nlptown/bert-base-multilingual-uncased-sentiment"

model = AutoModelForSequenceClassification.from_pretrained(model_name,proxies=proxies)

tokenizer = AutoTokenizer.from_pretrained(model_name,proxies=proxies)

 在代码中开启代理

就可以正常下载啦。

方法二：

如果没有科学上网环境，可以使用国内的网站提供权重

https://modelscope.cn/models/AI-ModelScope/icon-default.png?t=N7T8https://modelscope.cn/models/AI-ModelScope/

快速方便地下载huggingface的模型库和数据集
zik的博客
07-30 6275
使用方法：将hfd.sh拷贝过去，然后参考下面的参考命令，下载数据集或者模型。欢迎大家关注笔者，你的关注是我持续更博的最大动力。或克隆此存储库，然后授予脚本执行权限。这个代码不能保持目录结构，见下面的改进版。获取huggingface令牌，然后。中，这个命令行工具巧妙地利用。来处理 LFS 文件，并使用。为了方便起见，您可以创建一个别名。原创文章，转载告知，盗版必究。首先，下载 hfd.sh。
huggingface高速下载模型的实战代码
热门推荐
herosunly的博客
01-27 28万+
本文主要介绍了huggingface高速下载模型的实战代码，尤其是无法通过国内源进行下载的huggingface模型，希望能对学习大模型的同学们有所帮助。需要特别说明的是，本文的代码是完全原创的，即能够最大限度利用宽度的速度，而且还能实现断点续传。 文章目录 1. 背景 2. 实战代码
从Huggingface下载大模型到本地
m0_73222051的博客
08-12 1万+
欢迎使用 huggingface 国内镜像站
简单实用的huggingface模型python下载方法
最新发布
ferriswym的博客
04-27 184
huggingface已经是当前广泛使用的模型平台，很多开源模型都存放在huggingface。指定模型保存的目录。
python 通过代理服务器 连接 huggingface下载模型，并运行 pipeline
weixin_40378209的博客
03-12 4359
python 通过代理服务器 连接 huggingface下载模型，并运行 pipeline
python下载huggingface模型
jp_666的博客
08-06 332
【代码】python下载huggingface模型。
从HuggingFace下载模型的Python代码
Rock的专栏
03-06 194
revision='v3.2-2025', # 最新稳定版。
python-pytorch基础之下载huggingface模型并本地使用，以models--distilbert-base-uncased-finetuned-sst-2-english为例
随笔
08-08 2185
python-pytorch基础之下载huggingface模型并本地使用，以models--distilbert-base-uncased-finetuned-sst-2-english为例
修改huggingface模型的储存位置的设置方法
weixin_43178406的博客
01-20 7万+
本文主要介绍了修改huggingface模型的储存位置的设置方法，希望能对使用huggingface的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 解决方案一 2.2 解决方案二
本地下载huggingface模型并在服务器上使用流程
weixin_44151034的博客
06-24 7949
AutoModelForSequenceClassification 类是基于PyTorch的，因此需要安装PyTorch才能使用。我发现：大家加载huggingface模型，基本都是使用这两条代码来下载相关的文件的，所以我们只要找到这两条代码在哪里，就能找到文件的下载位置。但是我还是感觉很奇怪，就是它们是怎么知道需要把模型下载到哪里的，我能不能下次代码报错，自己发现需要把代码下载到哪里？之后我就通过代码连接不成功的报错，还有一些调试搜索方法，在这个头文件中找到这两行相关代码。参考了上面的帖子，找到了。
下载HuggingFace模型和数据集（免翻墙）
sinat_29950703的博客
10-18 1万+
官方的 huggingface-cli 命令行工具这个知乎博主总结的很全面我用下面这个流程下载就OK。
Huggingface下载模型的几种方式
weixin_46316820的博客
12-26 8164
【代码】Huggingface下载模型的几种方式。
huggingface 数据集和模型的下载
baidu_23044481的博客
05-16 1万+
官网首页上的简介是，“The platform where the machine learning community collaborates on models, datasets, and applications.” ，可以理解为，一个提供了机器学习相关模型、数据集和应用的分享交流社区平台。上面提供了很多AI领域的资源：Datasets（数据集）、Models（预训练模型）、Spaces（AI相关应用）、docs（相关技术文档）等。
如何快速下载huggingface大模型
琦彦
04-25 1891
Stackoverflow 上有个AI开发入门的最常见问题，回答五花八门，可见下载 huggingface 模型的方法是十分多样的。其实网络快、稳的话，随便哪种方法都挺好，然而结合国内的网络环境，断点续传、多线程下载等特性还是非常有必要的，否则动辄断掉重来很浪费时间。方法类别推荐程度优点缺点基于URL浏览器网页下载⭐⭐⭐通用性好手动麻烦/无多线程多线程下载器⭐⭐⭐⭐通用性好手动麻烦CLI工具git clone命令⭐⭐简单无断点续传/冗余文件/无多线程专用CLI工具⭐⭐⭐。
小白只需两步，优雅下载HuggingFace模型文件
Hoooooooocc的博客
03-25 2162
Python一键下载抱脸模型文件
『PyTorch学习笔记』如何快速下载huggingface模型/数据—全方法总结
AI新视界
12-07 4623
如何快速下载huggingface模型/数据—全方法总结。
python使用pycrawlers批量下载huggingface上的模型与数据文件
美味大香蕉的博客
04-26 5159
现在从下载huggingface的文件一般使用git，下载单个小型模型的文件使用git也还是可以的，那么想一次下载多个文件呢？现介绍pycrawlers这个python包，使用这个包可以轻松实现批量下载，以及进度显示。
下载huggingface-transformers模型至本地，并使用from_pretrained方法加载
一位安分的码农的博客
03-31 2万+
我们经常会使用到hugging face开源的transformers包，调用from_pretrained方法直接下载模型时，经常会下载很久甚至失败.而且由于它自动将下载的模型保存至文件夹下，这不方便我们对模型进行备份。为了解决这个问题，下面我们将实现“下载huggingface-transformers模型至本地，并使用from_pretrained方法加载”。
从HuggingFace下载模型的办法(免翻墙)
记录学习笔记
03-07 745
不用翻墙从HuggingFace的国内镜像下载模型文件
python中下载huggingface模型
03-29
<think>嗯，用户问的是如何在Python中使用transformers库下载Hugging Face的模型。首先，我需要回忆一下transformers库的常用方法。记得官方文档里提到过，可以使用from_pretrained函数来下载模型和分词器。这个函数会自动从Hugging Face的模型仓库获取文件，如果本地没有缓存的话。 然后，用户可能遇到下载问题，比如网络连接问题或者代理设置错误。参考用户提供的引用[2]，他们之前遇到过代理错误，导致无法连接。这时候可能需要检查网络设置，或者使用镜像源。比如，设置环境变量HF_ENDPOINT为阿里云的镜像，可能会解决部分下载问题。 另外，用户提到使用huggingface-cli工具下载模型，这在引用[1]里有例子。但用户的问题是关于Python代码的实现，所以可能需要区分命令行工具和库函数的不同方法。不过，transformers库内部应该也是调用了类似的API，所以需要确保网络通畅，权限正确。 还有，大文件下载可能需要使用hf_transfer加速，或者snapshot下载方式。用户可能对下载大模型时的速度或稳定性有需求，所以需要提供这些参数的使用方法。 另外，用户可能需要离线模式或者指定本地路径的情况。这时候需要说明cache_dir参数和local_dir的用法，确保他们知道如何保存模型到特定目录。 最后，生成相关问题的时候，要考虑到用户可能的后续疑问，比如环境变量设置、断点续传、代理配置等，这些都是常见的问题点。需要覆盖这些方面，帮助用户全面解决问题。</think>### 如何在Python中使用Transformers库下载Hugging Face模型 #### 1. 基础下载方法 通过`transformers`库提供的`from_pretrained`方法可以直接下载模型： ```python from transformers import AutoModel, AutoTokenizer model_name = "bert-base-uncased" model = AutoModel.from_pretrained(model_name) tokenizer = AutoTokenizer.from_pretrained(model_name) ``` 该方法会自动完成以下操作： - 检查本地缓存目录（默认`~/.cache/huggingface/hub`） - 从Hugging Face模型库下载缺失文件[^1] - 加载模型结构和权重参数 #### 2. 高级配置参数 ```python model = AutoModel.from_pretrained( "sentence-transformers/all-MiniLM-L6-v2", cache_dir="./custom_cache", # 自定义缓存路径 local_dir="./model_files", # 同时保存到指定目录 force_download=True, # 强制重新下载 resume_download=True # 支持断点续传 ) ``` #### 3. 网络问题解决方案 当遇到[引用2]中的代理错误时： ```python import os os.environ["HF_ENDPOINT"] = "https://hf-mirror.com" # 使用镜像源 os.environ["http_proxy"] = "http://127.0.0.1:7890" # 设置代理 os.environ["https_proxy"] = "http://127.0.0.1:7890" ``` #### 4. 大文件下载优化 ```python from huggingface_hub import configure_hftp configure_hftp(enable=True) # 启用HF传输加速 model = AutoModel.from_pretrained( "bigscience/bloom", use_safetensors=True, # 使用安全张量格式 revision="main" # 指定模型版本 ) ``` #### 5. 完整下载流程示例 ```python from transformers import pipeline # 下载并创建问答管道 qa_pipeline = pipeline( "question-answering", model="deepset/roberta-base-squad2", tokenizer="deepset/roberta-base-squad2" ) # 测试模型 context = "Hugging Face提供数千个预训练模型" question = "Hugging Face有多少预训练模型？" result = qa_pipeline(question=question, context=context) print(result["answer"]) # 输出：数千个 ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值