【经验总结】超算互联网服务器 transformers 加载本地模型

最新推荐文章于 2025-07-08 19:24:47 发布
最新推荐文章于 2025-07-08 19:24:47 发布
阅读量1.1k 收藏 5
点赞数 8
CC 4.0 BY-SA版权
分类专栏： AI 文章标签： 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40378209/article/details/138872972

1. 背景

使用 超算互联网 的云服务，不能连接外网，只能把模型下载到本地，再上传上去到云服务。

2. 模型下载

在 模型中 https://huggingface.co/models 找到所需的模型后
在这里插入图片描述
点击下载 config.json pytorch_model.bin vocab.txt

3. 上传模型文件

打开文件管理 e-file
点击 上传，选择 本地上传
在这里插入图片描述

4. 运行代码

由原来的代码：

from transformers impo
最低0.47元/天 解锁文章

200万优质内容无限畅学
transformers加载模型时自动选择空闲的多个GPU的实战代码
weixin_43178406的博客
07-26 5万+
本文主要介绍了transformers加载模型时自动选择空闲的多个GPU的实战代码，希望能对使用huggingface transformers的同学们有所帮助。 文章目录 1. 背景描述 2. 实战 2.1 安装Python库 2.2 实战代码
将transformers模型保存到本地及加载本地模型与创建CLIPProcessor实例
采菊东篱下，Python满乾坤！
07-21 9314
由于网络宽带速度不一，所以想着把transformers模型保存到本地，并实现本地加载。
transformers调用本地大模型进行推理问答
离离原上草，一岁一枯荣，野火烧不尽，春风吹又生。
07-02 1225
transformers调用本地大模型进行推理问答
你应该懂的AI大模型（六）之 transformers
DEVELOPERAA的博客
06-29 860
CUDA 是 NVIDIA GPU 算力释放的关键技术，它将 GPU 从图形处理器拓展为通用计算平台，通过 CUDA开发者能够以相对低的成本实现高性能计算，加速复杂任务的落地，其生态（如支持的框架、库和工具）也在持续扩展，成为现代计算基础设施的重要组成部分。config.json是模型的配置文件，对模型做了简单说明，说明了模型的头、模型的结构、模型的参数。读到这里大家肯定很好奇笔者在上面代码中下载到本地的模型到底长什么样子，模型里面都有什么文件，接下里以bert模型为例，我们来看一下模型里面都有哪些文件。
基于transformers加载运行模型
zfgylbcc的专栏
08-08 2432
在前几天基于 ChatGLM 的搭建部署和测试使用过程中，我对 ChatGLM 和 Langchain 的能力有了初步了解。尽管这些工具已经具备了一定的通用性，但由于本地知识库的效果不理想，我仍然觉得需要为自己定制属于自己的模型和应用。因此，我决定学会基于 Langchain 和模型进行编程，从现在开始着重学习 Langchain 的基础知识和编码，为后续打造自己的贾维斯做知识储备。目前，基于langchain的中文教程还是比较零散的，这里找到了英文官网教程，以及中文网。
Transformers中加载预训练模型的过程剖析(一)
Axlsss的博客
05-10 4510
Transformers中加载预训练模型的过程剖析
TransFormers教程（二、模型加载与测试）
m0_53873351的博客
01-23 969
在TransFormers官方文档中，提供了使用pipeline的方法来下载和加载模型。在命令窗中执行下面的Python代码来完成。但是该方法在国内不适用，因为网站我们无法直连，导致程序会显示多次连接后连接失败，所以需要自行在模型网站中下载模型进行使用。。因为官方示例所提供的模型为：sentiment-analysis，所以我们就在该网站中的左上角搜索框中输入“sentiment-analysis”，在弹出的列表中选择第一个模型。
大型模型transformers加载与使用
星辰火之梦
01-07 1765
可以看到，其实参数规模为1.3B的模型还是挺傻的，要正常进行对话估计参数规模得10B上下，此时常规消费级显卡的显存肯定不够用了。确保你已经从 Hugging Face 下载了必要的文件，并将它们放在本地的。变量设置为你下载模型文件的文件夹路径。基本配置：RTX 4060（8GB），推理过程最高显存占用为3GB。作为参数，从本地文件夹加载模型，并配置 FP16。作为参数，从本地文件夹加载 tokenizer。其他代码部分与之前的示例相同，用于推理和生成文本。文件夹中（或你指定的路径）。
transformers 笔记：自定义模型（配置+模型+注册为AutoCLass+本地保存加载）
最新发布
qq_40206371的博客
07-08 770
自定义配置类的要点：必须继承自，以继承等功能；构造函数__init__()必须接收任意**kwargs并传给父类；添加model_type属性，以支持 AutoClass；可以加入参数校验逻辑。
大模型微调实战（2）：调用本地模型
weixin_34452850的博客
03-17 1242
在本篇文章中，我们继续以 `uer/gpt2-chinese-cluecorpussmall` 这个模型为例，演示了如何从 Hugging Face上将模型下载到本地，并且在本地进行调用。这才是目前大模型应用中更常用的开发范式，希望大家都能够了解。
使用本地数据对transformers模型进行微调训练
离离原上草，一岁一枯荣，野火烧不尽，春风吹又生。
06-13 747
使用本地数据对离线transformers模型进行微调训练
Transformers实战——使用本地数据进行AclImdb情感分类
HMT的博客
04-01 4233
使用本地数据进行AclImdb情感分类
transformers自定义模型的保存和加载
行步至春深
10-15 6385
保存静态字典，取出静态字典，加载静态字典，没了。
【“Transformers快速入门”学习笔记6】训练模型，保存和加载模型
Miclear的博客
06-29 683
Pytorch 所有的模块（层）都是的子类，神经网络模型本身就是一个模块，它还包含了很多其他的模块。下面给出了一个完整的训练循环和测试循环过程，以及详细注释。
从加载到对话：使用 Transformers 本地运行量化 LLM 大模型（GPTQ & AWQ）
Hoper-J的博客
10-10 7256
（无需显卡）使用 Transformers 在本地加载具有 70 亿参数的 LLM 大语言模型，通过这篇文章你将学会用代码创建属于自己的 GPT。
【大模型系列】使用Hugging Face 提供的一个开源库Transformers下载模型并在本地加载运行
万物皆字节
05-05 662
接上一篇，以下大概介绍通过transfers api从huggingface下载和本地运行模型的流程；
Transformers 加载预训练模型 | 七
TensorFlowNews
04-01 9424
作者|huggingface 编译|VK 来源|Github 加载Google AI或OpenAI预训练权重或PyTorch转储 from_pretrained()方法 要加载Google AI、OpenAI的预训练模型或PyTorch保存的模型(用torch.save()保存的BertForPreTraining实例)，PyTorch模型类和tokenizer可以被from_pretrained...
PyTorch中如何在本地加载Roberta模型：Transformers实战指南
xziyuan的博客
07-21 1367
所需的有 config.json, merges.txt, pytorch_model.bin(下载后重命名), vocab.json。不同版本的transformers里import的用法可能不同，所以强调了版本，Roberta模型没有token_type_ids，也就是segment_ids。本地加载roberta-base模型文件，roberta-large同理，只不过hidden_size从768变为1024，此处transformers版本是2.11.0，Roberta 的则是。
AI大模型时代，新手和程序员如何转型入局AI行业？
老皮的博客
07-19 585
在人工智能（AI）的浪潮中，大模型技术正以前所未有的速度发展，并在各个领域展现出其强大的应用潜力。
sentence_transformers加载本地模型
03-23
<think>好的，我现在需要解决用户的问题：如何使用sentence_transformers加载本地模型。首先，我得回想一下之前学过的相关知识。记得用户提供的引用中有几个相关的资料，比如引用[2]提到可以用Hugging Face的Transformers库加载自定义模型并转换成SentenceTransformer格式。还有引用[4]提到了项目的目录结构，可能涉及模型文件的存放方式。 首先，用户的问题是关于加载本地模型，而不是从Hugging Face Hub下载。所以需要知道如何指定本地路径。通常，SentenceTransformers库是基于Hugging Face的Transformers的，所以应该可以用类似的方法，将模型路径指向本地文件夹。 然后，查阅引用[2]中的示例代码，里面使用了`models.Transformer('bert-base-uncased')`，这里的模型名称通常是Hugging Face的模型标识符。如果要加载本地模型，应该将路径替换为本地目录的路径，例如`models.Transformer('/path/to/model')`。同时，可能需要对应的tokenizer，所以需要确保本地目录包含config.json、pytorch_model.bin等必要文件。 另外，引用[4]中的项目结构可能说明，本地模型需要按照特定的目录结构存放，比如包含配置文件、模型权重等。因此，用户需要确保他们的本地模型文件是完整的，并且路径正确。 接下来，需要考虑是否需要添加池化层。引用[2]中的代码示例在加载Transformer模型后，添加了一个池化层，然后组合成SentenceTransformer模型。所以，加载本地模型时，同样需要这一步，将Transformer模型和池化层组合起来。 还要注意，如果用户已经有一个完整的SentenceTransformer模型保存在本地，可以直接使用`SentenceTransformer('/path/to/model')`来加载，而无需手动组装。这可能在引用[4]或[5]中有相关示例，但用户提供的引用中并没有直接提到，可能需要结合一般知识来补充。 可能的步骤是： 1. 如果本地模型是Hugging Face格式的Transformer模型，使用`models.Transformer`加载，并添加池化层。 2. 如果本地模型已经是保存好的SentenceTransformer模型，直接使用`SentenceTransformer`类加载。 3. 需要检查模型文件是否完整，路径是否正确。 此外，用户可能需要示例代码，所以应该提供两种情况的示例：一种是加载Hugging Face格式的本地模型并转换为SentenceTransformer，另一种是直接加载已经保存好的SentenceTransformer模型。 还需要注意路径的问题，比如在Windows和Linux下的路径写法不同，需要提醒用户替换为自己的实际路径。 最后，验证这些步骤是否正确，是否有遗漏。比如，是否必须添加池化层，或者当直接加载完整模型时是否已经包含池化层。根据引用[2]，当手动组合时，池化层是必须添加的，而直接保存的SentenceTransformer模型应该已经包含了所有必要的模块。 总结下来，回答应该包括两种方法：手动组合本地Transformer模型和池化层，以及直接加载完整的SentenceTransformer模型，并提供相应的代码示例。同时，需要引用相关的引用资料，如引用[2]和引用[4]来支持这些方法。</think>### 使用 `sentence_transformers` 加载本地模型的方法 #### 方法一：直接加载完整模型（推荐） 如果本地模型是**完整保存的 `SentenceTransformer` 格式**（包含模型文件、配置和池化层），可直接通过路径加载： ```python from sentence_transformers import SentenceTransformer # 替换为你的本地模型路径（例如："./my_local_model"） model_path = "/path/to/your/local_model_folder" model = SentenceTransformer(model_path) ``` #### 方法二：手动组合本地模型 如果本地模型是**Hugging Face格式的Transformer模型**（未包含池化层），需手动组合： ```python from sentence_transformers import SentenceTransformer from sentence_transformers import models # 1. 加载本地Transformer模型 transformer_model = models.Transformer("/path/to/your/local_bert_model") # 替换为本地路径[^2] # 2. 添加池化层 pooling_model = models.Pooling( transformer_model.get_word_embedding_dimension(), # 自动获取维度 pooling_mode='mean' # 默认池化方式 ) # 3. 组合成SentenceTransformer模型 model = SentenceTransformer(modules=[transformer_model, pooling_model]) ``` #### 注意事项 1. **模型目录要求** - 必须包含 `config.json`、`pytorch_model.bin`（或 `tf_model.h5`）等文件[^4] - 示例目录结构： ``` my_local_model/ ├── config.json ├── pytorch_model.bin └── tokenizer.json ``` 2. **保存自定义模型** 若需要复用组合后的模型，可先保存： ```python model.save("./my_custom_model") # 保存为完整SentenceTransformer格式 ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值