transformers学习笔记3

最新推荐文章于 2025-10-10 06:41:34 发布
原创 最新推荐文章于 2025-10-10 06:41:34 发布 · 2.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer

文章介绍了如何使用transformers库的automodel接口从HuggingFace官网下载预训练模型的configfile和modelfile，创建并初始化模型，然后进行迁移训练。另外，也提到了autoconfig方法，它会生成随机初始化的模型，需要从头训练。此外，还展示了如何保存和重新加载训练好的模型。

创建model的方法

automodel创建预训练模型

  1. 使用automodel直接创建，使用的是hug face官网上的预训练好的模型参数，完成创建后再使用自己本地的数据集进行迁移训练

  1. automodel api 去官网上下载用户指定类型模型的config file 和model file，config说明了如何创建模型，model包括该模型的参数。

  1. automodel api首先根据config去创建model类，再实例化model并随机初始化其参数

  1. 最后采用model file里面的参数来修改model 实例

最低0.47元/天 解锁文章
automodel.from_pretrained 使用本地缓存模型（huggingface.co 链接报错时可用）
消极的人永远是对的，积极的人选择勇往直前
05-09 2万+
huggingface.co 链接报错时可用
transformers库的使用【二】tokenizer的使用，模型的保存自定义
一个小菜鸟的博客
04-01 1万+
使用标记器（tokenizer） 在之前提到过，标记器（tokenizer）是用来对文本进行预处理的一个工具。 首先，标记器会把输入的文档进行分割，将一个句子分成单个的word（或者词语的一部分，或者是标点符号） 这些进行分割以后的到的单个的word被称为tokens。 第二步，标记器会把这些得到的单个的词tokens转换成为数字，经过转换成数字之后，我们就可以把它们送入到模型当中。 为了实现这种能把tokens转换成数字的功能，标记器拥有一个词表，这个词汇表是在我们进行实例化并指明模型的时候下载
预训练模型地址整理
weixin_36378508的博客
06-11 4201
Google原版bert: https://github.com/google-research/bert brightmart版roberta: https://github.com/brightmart/roberta_zh 哈工大版roberta: https://github.com/ymcui/Chinese-BERT-wwm Google原版albert[例子]: https://github.com/google-research/ALBERT brightmart版albert: https
Hugging Face Transformers 之 AutoConfig 、AutoTokenizer、AutoModel from_pretrained()参数详解
热门推荐
luckyuxuan的博客
10-25 4万+
Hugging Face Transformers 之 AutoConfig 、AutoTokenizer、AutoModel from_pretrained()参数详解
加载预训练模型（autoModel）
m0_59113542的博客
03-25 9291
严格意义上讲 transformers 并不是的一部分，然而 transformers 与 PyTorch 或 TensorFlow 结合的太紧密了，而且可以把 transformers 看成是 PyTorch 或 TensorFlow 的延伸，所以也在这里一并讨论了。transformers 内置了 17 种以这些模型的参数、用法大同小异。默认框架为 PyTorch，使用 TensorFlow 框架在类的前面加上 'TF" 即可。每种模型都有至少一个预训练模型，限于篇幅，这里仅仅列举。
Transformers快速入门-学习笔记
wangchaodee的博客
02-23 793
Transformers快速入门-学习笔记
李宏毅2025春季机器学习作业ML2025_Spring_HW3_understanding_LLM_transformers实操笔记
最新发布
weixin_44626085的博客
10-10 1322
摘要 本文档展示了如何设置环境以使用Transformers模型库。首先检查了GPU状态（NVIDIA Tesla T4），然后安装特定版本的Transformers库（4.47.0）及其依赖项。安装过程显示所有必需包（如filelock、huggingface-hub、numpy等）已满足要求，最终成功安装了tokenizers和transformers组件。该环境配置为后续使用Transformers模型提供了稳定基础。
【“Transformers快速入门”学习笔记3】处理多段文本
Miclear的博客
06-29 683
现实场景中，我们往往会同时处理多段文本，而且模型也只接受批 (batch) 数据作为输入，即使只有一段文本，也需要将它组成一个只包含一个样本的 batch。按批输入多段文本产生的一个直接问题就是：batch 中的文本有长有短，而输入张量必须是严格的二维矩形，维度为（batch_size,sequence_length），即每一段文本编码后的 token IDs 数量必须一样多。
【“Transformers快速入门”学习笔记6】训练模型，保存和加载模型
Miclear的博客
06-29 779
Pytorch 所有的模块（层）都是的子类，神经网络模型本身就是一个模块，它还包含了很多其他的模块。下面给出了一个完整的训练循环和测试循环过程，以及详细注释。
from_pretrained 做了啥
03-22 3433
transformers的三个核心抽象类是Config, Tokenizer和Model，这些类根据模型种类的不同，派生出一系列的子类。构造这些派生类的对象也很简单，transformers为这三个类都提供了自动类型，即AutoConfig, AutoTokenizer和AutoModel。三个AutoClass都提供了from_pretrained方法，这个方法则一气完成了模型类别推理、模型文件列表映射、模型文件下载及缓存、类对象构建等一系列操作。
【深度学习 | Python】AutoModel, AutoProcessor的介绍
wzk4869的博客
05-12 7924
【深度学习 | Python】AutoModel, AutoProcessor的介绍
TurboTransformers 加速预训练模型推理
u011613991的专栏
10-10 1284
TurboTransformers 加速预训练模型推理
Huggingface transformers 镜像使用，本地使用，tokenizer参数介绍
qq_40671063的博客
07-20 2万+
Huggingface transformers 镜像使用，本地使用，tokenizer参数介绍
Transformers模型实例化方法：AutoModel、AutoModelForCausalLM
酒酿小圆子呀～
07-17 5189
Transformers包括管道pipeline、自动模型auto以及具体模型三种模型实例化方法，如果同时有配套的分词工具（Tokenizer），需要使用同名调度。在上述三种应用方式中：管道方式使用最简单，但灵活度最差；具体模型方式使用复杂，但是灵活度最高。通常我们在实际应用中，比较推荐使用自动模型(AutoModel)方式。
Transformers中加载预训练模型的过程剖析(一)
Axlsss的博客
05-10 5124
Transformers中加载预训练模型的过程剖析
huggingface之Transformers学习笔记
maweifeng1111的博客
04-22 484
AutoProcessor 始终有效的自动选择适用于您使用的模型的正确class，无论您使用的是Tokenizer、ImageProcessor、Feature extractor还是Processor。1）对于文本，使用分词器(Tokenizer)将文本转换为一系列标记(tokens)，并创建tokens的数字表示，将它们组合成张量。4）多模态输入，使用处理器(Processor)结合了Tokenizer和ImageProcessor或Processor。
【Pytorch神经网络理论篇】 38 Transformers：安装说明+应用结构+AutoModel类
小李的研究生学习日记
04-23 1万+
Transfomers库是一个支持TensorFiow2.×和PyTorch的NLP库。它将BERTology系列的所有模型融合到一起，并提供统一的使用接口和预训练模型，为人们使用BERTology系列模型提供方便。 1 Transformers库定义 transfomersF中包括自然语言理解和自然语言生成两大类任务，提供了先进的通用架构，其中有超2个预训练模型（细分为100多种语言的版本)。 1.1 Transformers 快速完成的任务 1.1.1 通过执行脚本，使用训练好的SO...
【Hugging Face】transformers 库中的 AutoModel：自动模型加载器
彬彬侠的博客
03-05 2255
AutoModel是一个自动模型加载器，用于根据预训练模型的名称自动选择合适的模型架构。只想使用Transformer作为特征提取器（即不带额外的分类头），可以使用AutoModel。文本分类（如情感分析），应使用AutoModelForSequenceClassification，命名实体识别（NER），应使用AutoModelForTokenClassification，文本摘要或机器翻译，应该使用AutoModelForSeq2SeqLM，问答系统，应使用AutoModelForQuestionAns
device_map参数 ChatGLM训练
强化学习曾小健
07-03 1万+
是一种精度降低技术，它将模型的权重从32位浮点数转换为16位浮点数，这可以节省内存并提高计算速度，但可能会稍微降低精度。这可能是因为在多GPU环境中，开发者可能想要手动控制模型在哪个GPU或哪些GPU上运行，而不是简单地默认移到一个GPU上。方法，这可能意味着你的代码片段可能是更大代码环境的一部分，而这个更大的环境可能处理了多GPU的设备映射。，这意味着没有指定设备映射，因此代码默认在单一设备上（可能是主GPU或CPU）执行模型。，可以将模型的不同部分分配到不同的GPU设备上，以实现数据并行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值