transformers模型加载与seed随机状态

最新推荐文章于 2025-01-23 17:22:33 发布
最新推荐文章于 2025-01-23 17:22:33 发布
阅读量1.3k 收藏
点赞数
分类专栏： 笔记 NLP 文章标签： 深度学习 python pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ziuno/article/details/126918257
版权

Transformers的模型加载会改变seed的随机状态

这里使用了一个自己写的库进行测试：py-seeds（直接pip就可以安装，目前是0.0.2版本）

import py_seeds
from transformers import AutoModel


def state_str(state_dict):
    random_state = str(state_dict["random"])
    numpy_state = str(state_dict["numpy"][0]) + str(state_dict["numpy"][1].tolist())
    torch_state = str(state_dict["torch"].numpy().tolist())
    torch_cuda_state = "".join([str(i.numpy().tolist()) for i in state_dict["torch_cuda"]])
    return random_state + numpy_state + torch_state + torch_cuda_state


# not load model
state = py_seeds.get_seed_state()
now_state = py_seeds.get_seed_state()
print(state_str(state) == state_str(now_state))
# True: no change to the random state

# load model
model = AutoModel.from_pretrained('roberta-base')
now_state = py_seeds.get_seed_state()
print(state_str(state) == state_str(now_state))
# False: the loading of transformers model would change the random state

# set state after loading
py_seeds.set_seed_state(state)
now_state = py_seeds.get_seed_state()
print(state_str(state) == state_str(now_state))
# True: must set state after loading to keep the random state same

True
False
True

使用了一种很简易的方式进行状态间对比：把所有表示状态的变量都转换为list再转换为str，并拼接，判断两个状态代表的字符串是否相同（不可以用hash）

总结

transformers的模型的from_pretrained将会改变随机状态，如果需要确保随机状态一致，最好在加载完后重新设定一遍随机状态（适用于训练过程中的断点恢复，避免训练出错后恢复随机状态不一致）
（tokenizer的from_pretrained并不会影响随机状态）

笔者语

真的是一个很小的点，本来以为只有在训练的过程才涉及到随机状态的改变，没有想到一个加载的过程也会影响，试了好久才发现，希望能给大家避避坑吧～
可能考虑在下一个版本的py-seeds里更新成更方便判断是否相同的功能～

Transformers
sikh_0529的博客
09-09 1万+
这可以学习（使用权重），或者我们可以使用可以更好地扩展的固定函数来创建在推理期间未观察到的长度的位置编码.这允许不同的头部学习独特的表示，同时保持复杂性，因为我们将输入分成更小的子空间。这有效地允许我们使用非常大的序列的固定函数来表示每个标记的相对位置。而且因为我们已经将位置编码限制为与我们的编码输入具有相同的维度，所以我们可以简单地将它们连接起来，然后再将它们输入到多头注意力头中。这种类型的注意力涉及将我们编码的输入序列投影到三个矩阵上，查询（Q）、键（K）和值（V），我们学习它们的权重。
LLMs之ChatGLM-3：finetune.py源码解读微调模型—参数解析与初始化配置(清空CUDA缓存+解析JSON文件中的参数+设置训练日志格式和级别+设置随机种子)→加载预训练模型和分词器(
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-14 701
​ LLMs之ChatGLM3：finetune.py文件解读—基于数据集(多轮对话格式/输入-输出格式)来微调ChatGLM3-6B模型来适应特定的任务(如对话系统)—参数解析和配置→加载预训练模型和分词器(P-tuning v2技术+模型量化技术)→数据预处理(支持不同格式的训练数据【多轮对话格式/输入-输出格式】)→初始化数据收集器和训练器→模型训练(基于PyTorch分布式框架+梯度累积+梯度检查点技术等，显存21G/对比推理需要13G) 目录 finetune.py文件解读—基于数据集(多轮对
如何生成文本: 通过 Transformers 用不同的解码方法生成文本
weixin_44048823的博客
01-13 1098
假设 $p=0.92$，Top-p采样对单词概率进行降序排列并累加，然后选择概率和首次超过 $p=92%$ 的单词集作为采样池，定义为 $V_{\text{top-p}}$。在 $t=1$ 时 $V_{\text{top-p}}$ 有 9 个词，而在 $t=2$ 时它只需要选择前 3 个词就超过了 92%。其实很简单吧！可以看出，在单词比较不可预测时，它保留了更多的候选词，如$P(w | \text{“The”})$，而当单词似乎更容易预测时，只保留了几个候选词，如。
TransFormers教程（二、模型加载与测试）
m0_53873351的博客
01-23 847
在TransFormers官方文档中，提供了使用pipeline的方法来下载和加载模型。在命令窗中执行下面的Python代码来完成。但是该方法在国内不适用，因为网站我们无法直连，导致程序会显示多次连接后连接失败，所以需要自行在模型网站中下载模型进行使用。。因为官方示例所提供的模型为：sentiment-analysis，所以我们就在该网站中的左上角搜索框中输入“sentiment-analysis”，在弹出的列表中选择第一个模型。
Transformers中加载预训练模型的过程剖析(一)
Axlsss的博客
05-10 3870
Transformers中加载预训练模型的过程剖析
Hugging Face教程 - 1、transformers模型库
m0_46850835的博客
11-07 1405
hugging face学习教程- 1、transformers模型库
使用 Transformers 优化文本转语音模型 Bark
Hugging Face
08-23 520
???? Transformers 提供了许多最新最先进 (state-of-the-art, SoTA) 的模型，这些模型横跨多个领域及任务。为了使这些模型能以最佳性能运行，我们需要优化其推理速度及内存使用。???? Hugging Face 生态系统为满足上述需求提供了现成且易于使用的优化工具，这些工具可应用于库中的所有模型。用户只需添加几行代码就可以轻松 减少内存占用 并 提高推理速度。在本实战教程中，...
Transformers之设计理念与模型编码结构
qq_35215756的博客
03-18 1232
现在，您可以开始编码了 😃. 在 src/transformers/models/brand_new_bert/modeling_brand_new_bert.py 中生成的代码将具有与 BERT 相同的架构，如果是仅编码器模型，或与 BART 相同的架构，如果是编码器-解码器模型。贡献者在添加新模型时，如果新模型用到了现有的某个模型，我们经常强制要求他们把该现有模型的所有代码复制到新模型代码中，连一个小小的逻辑调整也不例外。另一方面，新模型的代码在逻辑上可能对其前面的模型有一定的依赖性。
基于transformers库 对因果大语言模型进行多GPU微调代码详细解读
weixin_43514053的博客
09-05 761
快速使用LORA以及分布式微调你自己的大模型，详细解析，新手入门速看！！！！
大模型底层 transformers源码解析之trainer.py
强化学习曾小健
04-17 3899
我会根据你提供的trainer.py源代码,用python的Graph包画出流程图,并着重介绍train()方法。- 将 inputs 通过 self._prepare_inputs 方法处理后传给 self.training_step。- 调用 optimizer.step() 和 lr_scheduler.step() 进行参数更新。计算总共需要训练的步数 max_steps 和 num_train_epochs。- 每 args.logging_steps 个步骤打印训练日志。
AI大模型应用入门实战与进阶：大模型在医疗影像分析中的应用
AI天才研究院
01-09 1998
1.背景介绍 医疗影像分析是一种利用计算机辅助诊断和治疗疾病的方法，主要通过对医疗影像数据进行处理、分析和挖掘，以提高医疗诊断和治疗的准确性和效率。随着人工智能技术的不断发展，大模型在医疗影像分析中的应用也逐渐成为一种主流方法。这篇文章将从入门级别到进阶级别，详细介绍大模型在医疗影像分析中的应用，包括背景、核心概念、算法原理、具体操作步骤、代码实例、未
Pytorch快速入门
Cyberfish1120的博客
06-15 559
简例 import torch """第一步：定义自己的模型""" class MyModel(torch.nn.Module): def __init__(self): super().__init__() # 声明并初始化模型所需的神经网络层 self.mlp = torch.nn.Linear(1, 1) # y = ax + b形式 def forward(self, x): # 将__init__()声明的网
Transformer 自然语言处理（四）
龙哥盟
01-31 1757
为了简化任务，我们将专注于仅针对 Python 编程语言构建代码生成模型。⁴我们需要的第一件事是一个由 Python 源代码组成的大型预训练语料库。幸运的是，有一个每个软件工程师都知道的自然资源：GitHub！这个著名的代码共享网站托管着数千兆字节的代码存储库，这些存储库是公开可访问的，并且可以根据其各自的许可证进行下载和使用。在撰写本书时，GitHub 托管了超过 2000 万个代码存储库。其中许多是由用户创建的小型或测试存储库，用于学习、未来的副业项目或测试目的。
【Hugging Face】Transformer.TrainingArguments Parameters/参数
SkyTai的博客
07-06 2847
【代码】【Hugging Face】Transformer.TrainingArguments Parameters/参数。
BertTokenizer警告Be aware, overflowing tokens are not returned for the setting you have chosen, i.e. s
亓官劼的博客
03-02 3939
BertTokenizer警告Be aware, overflowing tokens are not returned for the setting you have chosen, i.e. sequence pairs with the ‘longest_first’ truncation strategy. So the returned list will always be empty even if some tokens have been removed.   大家好，我是亓官劼（q
关于少样本Transformer微调的稳定性
发呆的比目鱼的博客
07-05 956
关于少样本Transformer微调的稳定性 Introduction 微调 Transformer 模型往往表现出训练不稳定。即使具有相同的超参数值（学习率、批量大小等），不同的随机种子也会导致截然不同的结果。这个问题更加明显，尤其是在小数据集上使用大型Transformer时。 本notebook将深入探讨少样本微调优化过程和技术的不同方面。目标是更好地理解我们必须处理一些样本微调问题的不同补救措施。 Problem 自 BERT 引入以来，Transformer 微调过程的不稳定性就已为人所知，从那时
TypeError: __init__() got an unexpected keyword argument ‘use_seedable_sampler‘
qq_62188501的博客
05-21 1425
在训练transformer的时候出现了问题 TypeError: __init__() got an unexpected keyword argument 'use_seedable_sampler'安装4.37.2版本的：pip install transformers==4.37.2。搜寻一下 发现应该是transformers库的版本问题，
情感分析学习笔记-Task06
qq_42225861的博客
09-30 677
最后一次的学习笔记，使用的是预训练的bert模型（如果原理不太理解的话，建议先把理论看一看，再来看代码会容易理解），bert是transformers里的encoder组成的，模型很大，参数也很多，所以选择用人家训练好的向量作为我们的embedding层，固定（而不训练）transformer，只训练从transformer产生的表示中学习的模型的其余部分。我们这次使用的是双向的GRU模型，它是LSTM的变形，比LSTM参数要少很多，用GRU来提取从Bert embedding后的特征。最后在fc层上输出最
Trainer ？
最新发布
03-11
<think>好的，我需要回答用户关于Hugging Face的Trainer的问题。首先，用户之前已经询问过使用PyTorch、PEFT库进行QLoRA微调并结合Transformers Trainer的内容，现在他们想更详细地了解Trainer本身。 首先，我要确定用户的需求。他们可能希望了解Trainer的基本概念、功能、优势以及如何使用。可能需要包括代码示例，但用户之前已经接触过相关代码，所以需要简明扼要。 接下来，我需要回顾Transformers库中的Trainer类。Trainer是Hugging Face提供的一个高级API，用于简化和标准化训练流程，支持分布式训练、混合精度、日志记录等。它封装了训练循环的细节，让用户专注于模型和数据。 然后，我需要组织信息结构。可能分为几个部分：核心功能、优势、使用步骤、代码示例、参数配置、适用场景和注意事项。需要确保逻辑清晰，逐步引导用户理解。 还要注意用户之前的回答中提到的QLoRA和PEFT，所以在适用场景中可以提到与这些库的结合使用，比如如何用Trainer来配合参数高效微调方法。 需要检查是否有遗漏的关键点，例如Trainer支持的优化器、回调函数、评估指标等。此外，用户可能关心如何自定义训练过程，比如自定义损失函数或评估步骤，这也需要提及。 另外，用户可能想知道Trainer与自定义训练循环的区别，以及何时使用Trainer更合适。可能需要强调其便捷性和节省时间的特点，尤其是在标准训练任务中。 最后，确保语言简洁明了，避免技术术语过多，但又要准确。可能需要使用示例代码来说明如何初始化Trainer、配置训练参数等。同时，注意格式要求，比如行内公式用$...$，独立公式用$$...$$，但在这个问题中可能公式较少，主要关注代码和文字描述。 总结：需要全面介绍Trainer，突出其功能、优势和使用方法，结合之前的QLoRA微调案例，提供实际应用的示例，帮助用户理解如何在实际项目中应用Trainer。</think>以下是对 **Hugging Face Transformers 的 `Trainer` 类** 的详细解析，帮助理解其设计目标、核心功能与应用场景： --- ### 一、什么是 Trainer？ `Trainer` 是 Hugging Face Transformers 库提供的一个**高级训练抽象类**，旨在简化深度学习模型（尤其是 NLP 模型）的训练、评估与推理流程。它通过封装训练循环（Training Loop）的底层细节（如梯度计算、优化器更新、分布式训练等），让开发者只需关注核心逻辑（模型、数据、超参数）。 --- ### 二、核心功能 #### 1. **自动化训练流程** - 自动执行以下操作： ```python for epoch in epochs: model.train() for batch in dataloader: inputs, labels = batch outputs = model(inputs) # 前向传播 loss = loss_fn(outputs, labels) # 计算损失 loss.backward() # 反向传播 optimizer.step() # 参数更新 optimizer.zero_grad() # 梯度清零 ``` - 开发者只需定义 `模型`、`数据集`、`训练参数`，无需手动编写循环。 #### 2. **内置高效优化** - 支持混合精度训练（`fp16`/`bf16`）、梯度累积（`gradient_accumulation_steps`）。 - 分布式训练（多 GPU/TPU）无需额外代码。 - 自动优化显存（如梯度检查点 `gradient_checkpointing=True`）。 #### 3. **灵活扩展性** - 通过回调（`Callbacks`）自定义行为（如早停、日志上传）。 - 支持自定义损失函数、评估指标、优化器。 #### 4. **日志与检查点** - 自动记录训练指标（损失、准确率等）到 TensorBoard 或 WandB。 - 定期保存模型检查点（`save_steps` 或 `save_strategy`）。 --- ### 三、关键代码结构 #### 1. 基础使用示例 ```python from transformers import Trainer, TrainingArguments # 定义训练参数 training_args = TrainingArguments( output_dir="./results", # 输出目录 per_device_train_batch_size=8, num_train_epochs=3, learning_rate=5e-5, evaluation_strategy="epoch", # 每个 epoch 评估一次 save_strategy="epoch", # 每个 epoch 保存模型 fp16=True, # 混合精度训练 ) # 初始化 Trainer trainer = Trainer( model=model, # 模型实例 args=training_args, # 训练参数 train_dataset=train_dataset, # 训练集 eval_dataset=val_dataset, # 验证集（可选） compute_metrics=compute_metrics # 自定义评估函数（可选） ) # 启动训练 trainer.train() ``` #### 2. 自定义评估函数 ```python from sklearn.metrics import accuracy_score def compute_metrics(eval_pred): logits, labels = eval_pred predictions = np.argmax(logits, axis=-1) return {"accuracy": accuracy_score(labels, predictions)} ``` --- ### 四、与 PEFT（如 QLoRA）的集成 当使用 **PEFT 库**（如 LoRA、QLoRA）进行参数高效微调时，`Trainer` 可直接适配： ```python from peft import LoraConfig, get_peft_model # 添加 LoRA 适配器 lora_config = LoraConfig( r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"] ) model = get_peft_model(model, lora_config) # 正常使用 Trainer trainer = Trainer(model=model, ...) trainer.train() ``` --- ### 五、适用场景 1. **快速原型开发** - 适用于标准任务（文本分类、生成、问答等），减少重复代码。 2. **资源受限环境** - 通过混合精度、梯度累积优化显存，适配单卡或多卡训练。 3. **大规模模型微调** - 结合 PEFT（QLoRA）高效微调百亿参数模型。 4. **实验复现** - 通过固定随机种子（`seed=42`）确保结果可复现。 --- ### 六、局限性 - **高度定制化需求**：若需修改训练循环底层逻辑（如对抗训练、特殊采样策略），可能需要继承 `Trainer` 并重写方法，或直接使用自定义循环。 - **非标准任务**：对于多模态输入、复杂损失组合等场景，需额外适配数据预处理或模型输出。 --- ### 七、替代方案 - **自定义训练循环**：直接使用 PyTorch 的 `torch.utils.data.DataLoader` + 手动循环，灵活性最高。 - **第三方框架**：如 PyTorch Lightning、FastAI（提供类似抽象，但生态与 Transformers 集成度较低）。 --- 通过 `Trainer`，开发者可以快速实现模型训练标准化，将注意力集中在模型设计与数据分析上，而非底层工程细节。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值