【bug】使用transformers训练二分类任务时，训练损失异常大

原创 已于 2024-11-22 14:47:28 修改 · 910 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#bug

于 2024-11-22 14:45:54 首次发布

使用transformers训练二分类任务时，训练损失异常大

问题

training_loss异常大，在二分类损失中，收敛在1~2附近，而eval_loss却正常（小于0.5）

分析

参考：
Bug in gradient accumulation training_step in huggingface Trainer?
Fix Gradient Accumulation issue
使用解决了多卡gradient accumulation严重BUG的最新transformer库（以及对应的trl库），DPO训练的时候LOSS变为之前的好几倍
New GA fix causes training loss multiple times higher across the board (5x to 10x higher)

版本：trainsformer==4.46.0

怀疑启用training_args.gradient_accumulation_steps后，training_loss变大。

最低0.47元/天 解锁文章
基于Transformer实现Twitter文本隐喻二分类
优快云 精品推荐
10-15 2522
该数据集由公司数字八创建，最初在其“人人享有数据”网站上共享。推特来源：https://twitter.com/AnyOtherAnnaK/status/6291959555067084802017 年，Google 提出了 Transformer 模型，用 Self Attention 的结构，取代了以往 NLP 任务中的 RNN 网络结构，在 WMT 2014 Englishto-German 和 WMT 2014 English-to-French两个机器翻译任务上都取得了当时 SOTA 的效果。
AI Agent: AI的下一个风口 AutoGPT：通过自然语言的需求描述执行自动化任务
AI天才研究院
06-29 1376
随着人工智能技术的快速发展，我们正在进入一个新的AI时代。传统的AI系统虽然在特定任务上表现出色，但往往缺乏灵活性和自主性。用户需要一种更智能、更自主的AI系统，能够理解复杂的自然语言指令，并自动执行各种任务。这种需求催生了AI Agent的概念，其中AutoGPT作为一个典型代表，正在引领AI的下一个风口。基于大型语言模型的自然语言理解和生成任务分解与规划上下文管理和记忆机制自主决策与执行持续学习与优化。
Transformer-Tensorflow2：用于分类的Transformer架构
03-03
Transformer-Tensorflow2 用于分类的Transformer架构 要求：Tensorflow 2.0
用Transformer模型实现简单二分类问题
qq_63908157的博客
01-22 6797
第一次自行用Transformer模型实现二分类，过程很曲折，不过最后还好成功实现了。各位大佬们如果有更好的模型实现思路，欢迎在评论区指教!
【从官方案例学框架Tensorflow/Keras】搭建Transformer模型解决文本分类问题
阿芒Aris的博客
11-12 1万+
摘要：搭建Transformer模型解决文本分类问题
Swin-Transformer多分类改造
benben044的专栏
07-10 2650
swin-transformer多分类
AIGC实战：如何用AI自动修复Bug和优化代码
最新发布
大模型应用工坊
05-13 630
本文旨在为开发者和技术团队提供一套完整的AI辅助代码修复和优化方案。AI在代码分析中的应用原理自动Bug检测和修复的工作流程代码优化建议的生成机制实际项目集成的最佳实践本文采用从理论到实践的递进结构，首先介绍核心概念和算法原理，然后深入数学模型和代码实现，最后通过实际案例展示应用效果。读者可以根据自身需求选择阅读重点章节。: 人工智能生成内容，指利用AI技术自动生成文本、代码、图像等内容静态代码分析: 在不执行程序的情况下分析源代码的技术抽象语法树(AST): 源代码语法结构的树状表示。
从零构建 AI Agent：LLM 大模型应用开发实践
AI天才研究院
12-03 1650
AI Agent（人工智能代理）是一个能够感知环境、做出决策并采取行动以实现特定目标的智能系统。它是人工智能研究和应用的核心概念之一，代表了我们在创造能够自主运作的智能实体方面的努力。感知器（Sensors）：用于感知环境状态的组件。执行器（Actuators）：用于在环境中执行动作的组件。决策单元（Decision-making unit）：根据感知到的信息做出决策的核心组件。数学上，我们可以将 AI Agent 表示为一个函数ffffP→AfP→A其中PPP。
Tokenizer不匹配引发的隐性Bug：文本预处理中的4大陷阱与终极修复方案
更严重的是，此类问题在训练初期可能仅表现为轻微loss震荡，但在推理阶段会放大为语义偏移或输出异常，形成难以追溯的隐性Bug，直接影响系统鲁棒性与线上表现。 想象一下你正在调试一个情感分析服务，线上预测突然...
文本分类实战（八）—— Transformer模型
weixin_30814319的博客
01-02 1447
1 大纲概述 　　文本分类这个系列将会有十篇左右，包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： 　　word2vec预训练词向量 　　textCNN 模型 　　charCNN 模型 　　Bi-LSTM 模型 　　Bi-LSTM + Attention 模型 　　RCNN 模型 　　Adversarial LS...
微调Transformer模型用于多标签分类任务
weixin_45511002的博客
07-18 3795
将预训练的Transformer模型（如BERT、RoBERTa等）应用于多标签分类任务，并实现较好的性能，我们可以使用的技巧和方法。
Swin Transformer猫狗分类
andy dennis的博客
01-16 5517
前言 早上看了一下Swin Transformer的论文，觉得还不错，就看了看代码，还挺简洁。 我不说是谁，那么无聊画了一下午用Swin Tranformer实现猫狗分类… 代码 依赖 需要下载一个库, 在终端运行则不需要前面的英文感叹号 !pip install timm 将依赖import 进来 import torch import torchvision from torch.utils.data import DataLoader import torch.nn.functional as
【深度学习填坑笔记2】用nn.Transformer训练时出现loss不收敛现象
m0_58815430的博客
07-04 4870
本文介绍了用transformer进行序列预测时遇到了训练过程中loss不收敛的问题
pytorch中二分类和多分类问题记录篇2
爱CV
11-03 2651
在pytorch中和keras不同的是如果使用torch.nn.CrossEntropyLoss()交叉熵作为损失函数，并不需要我们进行one-hot编码，因为已经替我们执行了这一操作，只需要我们传入的label是longtensor即可。 input : 模型输出，包含每个类的得分，2-D tensor,shape为 batch * n类 target: 大小为 n 的 1—D tensor，包含类别的索引(0到 n-1)。 注意CrossEntropyLoss()的target输入也是类别值，..
Loss上升，精度却也上升？
xu.hyj
09-14 8818
在训练中遇到了下图验证集损失先降后升，这是典型的过拟合，但是此时验证集精度却仍然在上升（直觉认为Loss上升变差应当精度下降变差），这种反直觉的现象引发了思考。
transformers got an unexpected keyword argument ‘num_items_in_batch‘
Learning from the mistakes
01-24 1775
我的transformers的版本是4.46.1.
（2-1）环境搭建与代码获取：环境准备
码农三叔
02-09 1051
环境搭建与代码获取是学习DeepSeek 源码的基础步骤。首先，在环境准备方面，需要满足一定的硬件环境要求，如具备合适的 GPU 等计算资源，同时要进行软件环境配置，包括安装操作系统、Python 环境等，并安装所需的依赖库，以确保代码能够正常运行。其次，在代码获取与管理方面，可以从 GitHub 克隆代码到本地，通过合理使用代码分支管理来组织和开发不同的功能或修复不同的问题，同时要进行代码更新与同步，以保持本地代码与远程仓库代码的一致性，及时获取最新的代码更改和功能更新。
Transformers实战——使用Trainer类训练和评估自己的数据和模型
热门推荐
HMT的博客
04-06 3万+
使用Transformers中的Trainer类训练自己的模型
pytorch学习2
haojie
04-15 489
1.Dataset和DataLoader Epoch,Batch-Size,Iterations 写成： for epoch in range(training_epochs): for i in range(total_batch):#这个内部循环，每次循环执行一个mini_batch epoch是指将所有的样本都进行了一次前向传播和反向传播 batch-size指的是每次前向传播和反向传播用的样本数量 iteration:Number of passes, each pass using [ b
实战指南：如何使用Wiki数据集预训练和微调大语言模型
文档建议开发者和研究人员在阅读本教程时结合代码和理论知识进行实践操作，尤其关注数据集处理、模型配置和训练监控等方面，以便更好地理解和应用大语言模型预训练技术。 通过上述内容，本文不仅为读者提供了从零...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值