TransFormers教程（二、模型加载与测试）

最新推荐文章于 2025-05-05 08:11:03 发布
最新推荐文章于 2025-05-05 08:11:03 发布
阅读量909 收藏 21
点赞数 23
文章标签： python nlp 自然语言处理 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_53873351/article/details/145326848
版权

1 模型下载

在TransFormers官方文档中，提供了使用pipeline的方法来下载和加载模型。在命令窗中执行下面的Python代码来完成。

>>> from transformers import pipeline

>>> classifier = pipeline("sentiment-analysis")

但是该方法在国内不适用，因为https://huggingface.co/网站我们无法直连，导致程序会显示多次连接后连接失败，所以需要自行在模型网站中下载模型进行使用。

打开官方提供的模型下载网站：https://huggingface.co/models。

在这里插入图片描述

因为官方示例所提供的模型为：sentiment-analysis，所以我们就在该网站中的左上角搜索框中输入“sentiment-analysis”，在弹出的列表中选择第一个模型。

在这里插入图片描述

打开网页后点击”File and versions“，将里面的所有文件都统一下载到一个文件夹后放在transforme

最低0.47元/天 解锁文章
transformers加载模型时自动选择空闲的单个GPU的实战代码
weixin_43178406的博客
07-20 6万+
本文主要介绍了transformers加载模型时自动选择空闲GPU的实战代码，希望能对使用huggingface transformers的同学们有所帮助。 文章目录 1. 背景描述 2. 实战 2.1 安装Python库 2.2 实战代码
Transformer大模型实战 加载自定义模型
AI天才研究院
06-14 650
Transformer大模型实战 加载自定义模型 1.背景介绍 随着深度学习技术的不断发展,Transformer模型在自然语言处理(NLP)、计算机视觉(CV)等领域取得了卓越的成就。作为一种全新的基于注意力机制的神经网络架构,Transformer凭借其并行计算能力和长期
【经验总结】超算互联网服务器 transformers 加载本地模型
weixin_40378209的博客
05-14 1079
超算互联网服务器 transformers 加载本地模型
【大模型系列】使用Hugging Face 提供的一个开源库Transformers下载模型并在本地加载运行
最新发布
万物皆字节
05-05 494
接上一篇，以下大概介绍通过transfers api从huggingface下载和本地运行模型的流程；
大型模型transformers加载与使用
星辰火之梦
01-07 1575
可以看到，其实参数规模为1.3B的模型还是挺傻的，要正常进行对话估计参数规模得10B上下，此时常规消费级显卡的显存肯定不够用了。确保你已经从 Hugging Face 下载了必要的文件，并将它们放在本地的。变量设置为你下载模型文件的文件夹路径。基本配置：RTX 4060（8GB），推理过程最高显存占用为3GB。作为参数，从本地文件夹加载模型，并配置 FP16。作为参数，从本地文件夹加载 tokenizer。其他代码部分与之前的示例相同，用于推理和生成文本。文件夹中（或你指定的路径）。
Transformers使用教程
清风拂面
12-07 897
Transformers使用说明
Transformers中加载预训练模型的过程剖析(一)
Axlsss的博客
05-10 4192
Transformers中加载预训练模型的过程剖析
Transformers从零到精通教程——Model
厚积而薄发
08-12 668
查看参数同pipeline，看config的基类代码，具体方法也是。
【“Transformers快速入门”学习笔记6】训练模型，保存和加载模型
Miclear的博客
06-29 647
Pytorch 所有的模块（层）都是的子类，神经网络模型本身就是一个模块，它还包含了很多其他的模块。下面给出了一个完整的训练循环和测试循环过程，以及详细注释。
Hugging Face Transformers进阶：模型微调与训练
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
05-03 124
模型微调是指在预训练模型的基础上，针对特定任务进行进一步训练的过程。预训练模型通常在大规模通用语料上进行训练，能够学习到语言的通用特征。然而，这些模型可能无法直接适应特定任务的需求。通过在特定任务的数据集上继续训练，我们可以调整模型的参数，使其更好地捕捉任务相关的特征，从而提升模型在该任务上的性能。定义训练循环是微调过程的核心步骤。加载数据：使用Dataset类加载数据集。定义模型：加载预训练模型，并根据任务需求添加额外的层（如分类层）。定义优化器和损失函数：选择合适的优化器和损失函数。训练模型。
基于transformers加载运行模型
zfgylbcc的专栏
08-08 2306
在前几天基于 ChatGLM 的搭建部署和测试使用过程中，我对 ChatGLM 和 Langchain 的能力有了初步了解。尽管这些工具已经具备了一定的通用性，但由于本地知识库的效果不理想，我仍然觉得需要为自己定制属于自己的模型和应用。因此，我决定学会基于 Langchain 和模型进行编程，从现在开始着重学习 Langchain 的基础知识和编码，为后续打造自己的贾维斯做知识储备。目前，基于langchain的中文教程还是比较零散的，这里找到了英文官网教程，以及中文网。
transformers教程（一、使用初始化）
m0_53873351的博客
01-23 1673
Transformers是一种基于注意力机制的深度学习模型架构，由谷歌团队在2017年首次提出。该模型架构在自然语言处理（NLP）领域取得了显著成就，并迅速扩展到计算机视觉、语音处理等其他领域。Transformers的核心在于其独特的编码器-解码器结构、多头注意力机制以及位置编码。它通过并行计算多个自注意力子层来捕捉输入序列中不同位置之间的依赖关系，从而有效地建模长距离依赖。位置编码的加入则解决了自注意力机制本身无法获取序列中元素位置信息的问题。
Huggingface Transformers简约教程（二）
weixin_47779152的博客
03-31 4118
Huggingface Transformers简约教程。初学者的理解视角
Transformers从零到精通教程——Pipeline
厚积而薄发
07-29 1271
【代码】Transformers从零到精通教程——Pipeline。
[NLP] transformers 使用指南
热门推荐
花解语
06-17 1万+
严格意义上讲 transformers 并不是 PyTorch 的一部分，然而 transformers 与 PyTorch 或 TensorFlow 结合的太紧密了，而且可以把 transformers 看成是 PyTorch 或 TensorFlow 的延伸，所以也在这里一并讨论了。 transformers 内置了 17 种以 transformer 结构为基础的神经网络： T5 model DistilBERT model ALBERT model CamemBERT model XLM-RoBE
【深度学习 | Transformer】Transformers 教程：pipeline一键预测
wzk4869的博客
05-05 3347
【深度学习 | Transformer】Transformers 教程：pipeline一键预测
Transformer，一个神奇的算法模型 ！！
m0_59164304的博客
07-08 1111
Transformer 模型的核心在于其自注意力机制和多头注意力机制，通过这些机制，模型能够有效地理解并处理序列数据中的复杂关系。虽然其公式和实现细节可能略显复杂，但 Transformer 提供了一种强大而灵活的框架来处理各种自然语言处理任务。
保姆级教程：图解Transformer
Jack-Cui
01-29 6634
Transformer的原理剖析，注意力机制、位置嵌入详解。
Py之transformers：transformers的简介、安装、使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
09-08 1万+
​ Py之transformers：transformers的简介、安装、使用方法、案例应用之详细攻略 目录 transformers的简介 transformers的使用方法 transformers的安装 transformers的案例应用 可提供的模型架构—目前194种 transformers的简介 transformers提供了数千个预先训练好的模型来执行不同模式的任务，如文本、视觉和音频。这些模型可应用于: >> 文本：用于文本分类、信息提取、问题回
safetensors：适配多种框架，支持transformers库的模型加载
03-24
### Safetensors 的多框架兼容性与 Transformers 模型加载 Safetensors 是一种高效的文件格式，用于存储深度学习模型的权重。它具有安全性、高性能以及良好的跨框架兼容性特点[^1]。 #### 1. **Safetensors 文件的安全性和高效性** Safetensors 提供了一种安全的方式来保存和读取模型权重，避免了传统 Pickle 方法可能带来的安全隐患。通过其零拷贝特性，可以显著提升模型加载的速度，这对于大规模模型尤为重要。 以下是使用 `safetensors` 加载部分张量的一个典型例子： ```python from safetensors import safe_open tensors = {} with safe_open("model.safetensors", framework="pt", device=0) as f: tensor_slice = f.get_slice("embedding") vocab_size, hidden_dim = tensor_slice.get_shape() tensor = tensor_slice[:vocab_size, :hidden_dim] ``` 上述代码展示了如何仅加载特定的部分张量（如嵌入层），从而节省内存资源并加速初始化过程。 --- #### 2. **Transformers 库中的集成** Hugging Face 的 Transformers 库广泛支持各种主流的大规模预训练模型，并提供了对 `safetensors` 格式的内置支持。这意味着可以直接利用 `.safetensors` 文件作为模型权重的来源，而无需额外转换为其他格式。 要加载基于 `safetensors` 存储的 Transformer 模型，可以通过如下方式完成： ```python from transformers import AutoModelForCausalLM, AutoTokenizer # 初始化 tokenizer 和 model tokenizer = AutoTokenizer.from_pretrained("path/to/model", use_safetensors=True) model = AutoModelForCausalLM.from_pretrained( "path/to/model", torch_dtype=torch.float16, low_cpu_mem_usage=True, use_safetensors=True ) # 测试推理功能 input_text = "Hello world!" inputs = tokenizer(input_text, return_tensors="pt").to(model.device) outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0])) ``` 在此过程中，参数 `use_safetensors=True` 明确指定了优先尝试从 `.safetensors` 文件中加载权重。如果该路径不存在对应的 `.safetensors` 文件，则会回退到传统的 PyTorch 权重文件（`.bin`）。此设计增强了灵活性，同时也保留了向后兼容的能力[^3]。 --- #### 3. **多框架的支持能力** 为了适应不同的深度学习生态系统需求，Safetensors 被设计为能够轻松适配多个框架环境。例如，在 TensorFlow 或 JAX 中也可以采用类似的逻辑操作这些二进制数据结构。具体而言，开发者只需调整 `framework` 参数即可切换目标运行时平台： ```python import tensorflow as tf from safetensors.tensorflow import load_file weights = load_file("model.safetensors", tf_device="/GPU:0") for name, value in weights.items(): print(f"{name}: {value.shape}") ``` 这段代码片段演示了在 TensorFlow 下加载相同格式的数据流程序列化对象的方法。 此外，对于那些专注于轻量化部署场景的应用场合来说，诸如 vLLM 这样的优化框架同样推荐配合 `safetensors` 实现更优的整体表现[^2]。 --- ### 总结 综上所述，借助于 Safetensors 所具备的强大特性和易用接口，无论是单机实验还是分布式生产环境中都可以便捷地处理复杂的神经网络架构及其关联组件之间的交互关系。同时，由于其天然契合现代机器学习工作流程的设计理念，使得像 HuggingFace Transformers 等工具链得以无缝衔接其中，进一步促进了整个行业的标准化进程与发展步伐。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大白xy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值