Bert+FGSM中文文本分类

最新推荐文章于 2025-06-10 22:26:10 发布
最新推荐文章于 2025-06-10 22:26:10 发布
阅读量952 收藏 2
点赞数 2
分类专栏： 对抗网络 文本分类 文章标签： bert 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43734080/article/details/131048039
版权
本文介绍了一种使用Bert+FGSM进行中文文本分类的方法，区别于之前的Bert+PGD实现，主要差异在于对抗训练函数和embedding扰动部分。文章详细讲解了数据集下载、库的导入、数据加载、模型参数定义、优化器设置、模型和对抗训练函数的定义，以及训练和测试函数。实验表明，对抗训练技术能有效提升文本分类效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我上一篇博客已经分别用Bert+FGSM和Bert+PGD实现了中文文本分类，这篇文章与我上一篇文章Bert+FGSM/PGD实现中文文本分类（Loss=0.5L1+0.5L2)_Dr.sky_的博客-优快云博客的不同之处在于主要在对抗训练函数和embedding添加扰动部分、模型定义部分、Loss函数传到部分不一样，这篇博客的思想借鉴了我之前看的一篇文章关于对抗训练在文本分类中的实验中的实现思路，下面开始记录下来具体实验代码。

目录

一、数据集下载

二、导入所需库和模块

三、加载数据集

四、定义模型参数和优化器

五、定义模型函数

六、定义对抗训练函数

七、定义训练函数

八、定义测试函数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Bert+FGSM/PGD实现中文文本分类（Loss=0.5L1+0.5L2)
Python，数据分析，机器学习，深度学习
06-05 802
这段代码的主要作用是创建一个用于文本分类的 BERT 模型，并初始化优化器和损失函数。其中： BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=10) 加载了预训练的 BERT 模型，并创建了一个用于文本分类的 BERT 模型。其中，'bert-base-chinese' 表示使用中文 BERT 模型，num_labels=10 表示模型的输出类别数为 10。
Robert+SimCLR+FGSM实现文本分类
Python，数据分析，机器学习，深度学习
06-09 1262
我们选择使用RoBERTa作为文本分类模型，RoBERTa是BERT的改进版，它在BERT的基础上做了一些改进，例如使用更大的训练数据、使用更长的训练时间、去掉了NSP任务等。在训练函数中，我们首先定义了两个数据增强函数，分别为随机掩码和随机替换。随机掩码是将输入文本中的一些单词随机替换成掩码，随机替换是将输入文本中的一些单词随机替换成其他单词。这两个数据增强函数将用于生成SimCLR中的两个样本。然后我们定义了对抗训练中使用的FGM攻击函数和训练函数。
Tensorflow2.0 + Transformers 实现Bert FGM对抗训练惩罚梯度损失函数
weixin_45839693的博客
10-29 2993
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 Tensorflow2.0 + Transformers 实现Bert FGM抗训练惩罚梯度损失函数前言变种实现Transformers中的word_embeddings代码修改实验效果总结 前言 之前看了很多关于NLP中应用对抗训练的文章，测试结果都很香，所以想在自己在用的模型上试一试看看能不能提升效果，参考了一些代码找到了pytroch和keras实现，但发现对于tensorflows来说更改训练过程非常繁琐，而且容易出错，如果要配
BERT模型—6.对抗训练原理与代码实现
柳杰的博客
07-29 5953
文章目录引言一、对抗训练一般原理1.对抗样本二、对抗训练的经典算法三、对抗训练代码实现1.FGM2.PGD 引言   对抗训练对于NLP来说，是一种非常好的上分利器，所以，非常有必要加深对对抗训练的认识。 一、对抗训练一般原理   小学语文课上，我们都学习过《矛与盾》这篇课文， 从辩证唯物史观角度来看，矛与盾并没有严格意义上的谁更厉害，谁一直占优。矛盾着的双方又同一又斗争，双方力量此长彼消，不断前进，从而推动事物发展。这也就是对抗训练。 1.对抗样本   两句话，只是部分英文单词发生了改变，但是在我们看来
模型训练-Tricks-提升鲁棒性(1)：对抗训练【FGM、PGD、FGSM、FreeLB、AWP】
u013250861的博客
02-17 1965
对抗训练中关键的是需要找到对抗样本(尽量让模型预测出错的样本)，通常是对原始的输入添加一定的扰动来构造，然后用来给模型训练.【炼丹技巧】功守道：NLP中的对抗训练 + PyTorch实现 - 知乎一文搞懂NLP中的对抗训练FGSM/FGM/PGD/FreeAT/YOPO/FreeLB/SMART - 知乎FGM对抗训练_Mr.奇的博客-优快云博客对抗训练fgm、fgsm和pgd原理和源码分析_谈笑风生...的博客-优快云博客_pgd对抗训练。
BERT模型实战之多文本分类（附源码）
热门推荐
Kaiyuan_sjtu的博客
03-21 6万+
写在前面 BERT模型也出来很久了，之前看了论文学习过它的大致模型（可以参考前些日子写的笔记NLP大杀器BERT模型解读），但是一直有杂七杂八的事拖着没有具体去实现过真实效果如何。今天就趁机来动手写一写实战，顺便复现一下之前的内容。这篇文章的内容还是以比较简单文本分类任务入手，数据集选取的是新浪新闻cnews，包括了[‘体育’, ‘财经’, ‘房产’, ‘家居’, ‘教育’, ‘科技’, ‘时尚’...
bert 对抗训练实现代码
爱吃火锅的博客
04-06 5349
前言： 对抗训练是魔改训练方式的一种，凡事对抗一下，说不定可以提高性能，建议都试一试，网上关于对抗训练的代码已经有很多啦，笔者这里简单汇总一些，供快速应用到 自己的代码中，看效果，下面的代码包括FGSM,PGD.FreeLB,Adv 参考资料 FGSM,PGD.FreeLB:https://github.com/lonePatient/TorchBlocks/blob/e6c5959e6a3d3380bbb147f1c30f752cd8482c1a/torchblocks/callback/a.
基于Bert+对抗训练的文本分类实现
Python，数据分析，机器学习，深度学习
05-26 1495
由于Bert的强大，它文本分类取得了非常好的效果，而通过对抗训练提升模型的鲁棒性是一个非常有研究意义的方向，下面将通过代码实战与大家一起探讨交流对抗训练在Bert文本分类领域的应用。
Bert+对抗训练+对抗性样本防御的文本分类实战
Python，数据分析，机器学习，深度学习
05-27 1355
我们用Bert实现对THUCNews文本分类，在embdedding使用FGSM添加干扰实现对抗训练，并且考虑对抗性样本的防御，代码实现并进行逐行注释，使用pytorch实现。
NLP(文本)中的对抗训练
彭伟的博客
06-24 7631
《NLP中的对抗训练》 最近在做百度的阅读理解竞赛，这次的竞赛目的主要是针对模型的鲁棒性。百度提出了dureader-robustness数据集，具体可以参考之前的博客《Improving the Robustness of Question Answering Systems to Question Paraphrasing 》，有介绍到具体的问题和任务。 那么针对上述的问题，能用什么方法解决呢...
NLP.TM[32] | 浅谈文本增强技术
baidu_25854831的博客
06-07 501
【NLP.TM】本人有关自然语言处理和文本挖掘方面的学习和笔记，欢迎大家关注。往期回顾：NLP.TM[27] | bert之我见-positional encodingNLP.TM[28...
机器学习NLP领域入门
noobiee的博客
08-17 2190
Project Gradient Descent（PGD）是一种迭代攻击算法，相比于普通的FGM 仅做一次迭代，PGD是做多次迭代，每次走一小步，每次迭代都会将扰动投射到规定范围内。在保存模型或者评估模型时，会利用影子权重进行评估，如果效果比当前效果好，则保存影子权重的参数，但是之后在继续训练的时候会还原之前的参数进行训练。双向的LSTM后面接softmax，但此时输出标签之间是没有关系的，加了CRF后，可以建立起输出标签之间的关联关系。.........
Python中的strip().split(‘\t‘)的用法和解释
BaoITcore的博客
03-04 3万+
目录 （一）、strip()的用法 （二）、split的用法 （三）、strip().split()的用法 （一）、strip()的用法 strip()主要是对字符串进行操作，主要是删除当前你得到的这个字符串的首尾字符，如果在strip()这个括号里面你没有指定字符，也就是如果括号里面为空的话，那么会默认删除当前字符串的首尾的空格和换行符。 示例如下： 1、删除前面的空格 2、删除首尾的空格和换行 3、删除首尾指定的字符 （二）、split的用法 ...
python numpy实例_Python numpy.ravel() 使用实例
weixin_35401836的博客
03-01 1694
The following are code examples for showing how to use . They are extracted from open source Python projects. You can vote up the examples you like or vote down the exmaples you don’t like. You can al...
NLP --- >对抗学习：从FGM, PGD到FreeLB
chencas的博客
12-18 8625
背景 我们知道，对抗学习能够得到更加鲁棒的神经网络结构。通过对训练样本添加一个较小的扰动，然后将其用于模型训练，能够有效地防范这类的攻击，该方法开始被提出用于自动驾驶等，后面被用于自然语言处理中，同样大幅提高模型的结果。 本篇文章提出一种新的对抗训练算法，FreeLB(Free Large-Batch)，通过对词向量添加一个对抗扰动，并且最小化添加扰动样本的损失。该方法利用了最近提出的 “free...
再战FGM！Tensorflow2.0 自定义模型训练实现NLP中的FGM对抗训练 代码实现
weixin_45839693的博客
12-08 2548
TF版本2.2及以上 def creat_FGM(epsilon=1.0): @tf.function def train_step(self, data): ''' 计算在embedding上的gradient 计算扰动 在embedding上加上扰动 重新计算loss和gradient 删除embedding上的扰动，并更新参数 ''' data = data_adapter.expand_1d(data)
对抗训练的理解，以及FGM、PGD和FreeLB的详细介绍
谁谓荼苦，其甘如荠
12-08 2万+
对抗训练基本思想——Min-Max公式 如图所示。 中括号里的含义为，我们要找到一组在样本空间内、使Loss最大的的对抗样本（该对抗样本由原样本x和经过某种手段得到的扰动项r_adv共同组合得到）。这样一组样本组成的对抗样本集，它们所体现出的数据分布，就是该中括号中所体现的。 外层min()函数指的则是，我们面对这种数据分布的样本集，要通过对模型参数的更新，使模型在该对抗样本集上的期望loss最小 我们知道如何在已有数据上进行模型更新，但如何找到最佳扰动r_adv呢？ 很简单——梯度上升。所以说，对抗
NLP 英文文本数据增强
I_AM_jm的博客
08-13 1649
数据增强是一种有效的防止过拟合并且可以加大训练集的有效方式，NLP中的数据增强方法有回译，同义词替换，随机插入，随机交换，随机删除，对抗训练这几种方式，本篇文章简单介绍一下这几种方式。 1.回译 #经过测试，这个翻译的包翻译的时间是最短的 from pygtrans import Translate def backTran(wordss): client = Translate() text1 = client.translate(wordss) text2 = client.
医学图像分割最新进展
最新发布
weixin_52201996的博客
06-10 992
其中包含两个主要部分：条件分支（黄色部分）和分割分支（粉色部分）。这个框架利用支持集（Support Set）中的图像来指导和调整查询图像的分割过程。使用支持集（含k张已标注图像）指导模型对查询图像进行新类别分割。少样本分割致力于用极少量标注样本识别新类别。
文本分类FGSM对抗攻击
03-26
### 文本分类中的 FGSM 对抗样本生成 FGSM（Fast Gradient Sign Method）是一种经典的对抗攻击方法，其核心思想是利用目标模型的梯度信息来计算输入数据的小幅扰动，从而生成能够误导模型预测结果的对抗样本。对于文本分类任务而言，尽管自然语言处理领域存在离散化特性带来的挑战，仍可以通过一些特定的技术手段实现 FGSM 攻击。 #### 1. 数学基础 FGSM 的数学表达如下： \[ \delta = \epsilon \cdot sign(\nabla_x J(x, y)) \] 其中 \(J(x, y)\) 表示损失函数关于输入 \(x\) 和标签 \(y\) 的值，\(sign\) 函数用于提取梯度的方向，而超参数 \(\epsilon\) 控制扰动幅度[^3]。此公式适用于连续型数据（如图像），但在文本分类场景下需稍作调整。 #### 2. 应用于文本分类的任务特点 由于文本由离散词嵌入表示构成，在实际操作中无法直接沿梯度方向修改单词向量。因此，通常采取以下两种策略之一： - **替换近义词**：基于预定义同义词表或上下文感知的语言模型（如 BERT），找到最接近当前词语但能使损失最大化的替代项； - **微调嵌入层权重**：允许对固定大小的词向量空间施加小范围变动，间接模拟连续变量环境下的行为模式。 #### 3. 实现流程概述 以下是针对文本分类模型执行 FGSM 攻击的一个简化版本伪代码描述： ```python import torch from torch.autograd import grad def fgsm_attack(model, input_ids, attention_mask, labels, epsilon=0.05): # 设置模型为评估模式 model.eval() # 将输入张量设为可求导状态 input_ids.requires_grad_(True) # 前向传播获取初始预测概率分布 outputs = model(input_ids=input_ids, attention_mask=attention_mask)[0] # 计算交叉熵损失 loss_fn = torch.nn.CrossEntropyLoss() loss = loss_fn(outputs.squeeze(), labels) # 反向传播得到梯度 gradients = grad(loss, input_ids)[0] # 获取梯度符号并乘以ε作为扰动 perturbed_input = input_ids + epsilon * gradients.sign() return perturbed_input.detach() # 返回受干扰后的输入序列 ``` 上述代码片段展示了如何通过 PyTorch 构建一个简单的 FGSM 工具函数，该工具接受已训练好的文本分类器以及相应批次的数据作为输入，并返回被篡改过的 token ID 列表。 #### 4. 结果分析与讨论 经过 FGSM 处理之后产生的新实例往往只表现出极其细微的变化，然而却足以让原本表现良好的深度学习架构给出错误结论。这种现象揭示了现代 AI 技术潜在的安全隐患——即使面对看似无害的信息改动也可能面临失效风险。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Dr.Petrichor

作者逐个题目分析的噢

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值