Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation，arxiv2022

最新推荐文章于 2024-11-09 20:04:47 发布

原创最新推荐文章于 2024-11-09 20:04:47 发布 · 1.8k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #算法 #深度学习

低资源本文分类专栏收录该内容

17 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文提出了一种双对比学习方法，结合有监督信号和数据增强，在文本分类任务中强制模型学习相同标签样本的特征表示一致性。通过双对比损失函数，模型在保持输入特征和分类器表示之间的一致性的同时，最大化正例之间的相似性，最小化负例之间的相似性。实验结果显示，这种方法在减少训练数据的情况下也能取得良好的性能。

在这里插入图片描述

我是目录！

Introduction
Preliminaries
Dual Contrastive Learning
- Dual Contrastive Loss
- Theoretical Justification of DualCL
Experiments

北航出的一篇很有趣的文章，旨在将对比学习引入到有监督的学习框架中。引入了一个双重对比学习(DualCL)框架，该框架可以在同一空间中同时学习输入样本的特征和分类器的参数。具体来说，DualCL将分类器的参数视为与不同标签相关联的增强样本，然后利用输入样本与增强样本之间的对比学习。通过对5个基准文本分类数据集及其低资源版本的实证研究，验证了DualCL在分类精度方面的改进，并验证了其学习判别表示的能力，尤其是在样本数量较少的前提下，对性能的增益更加明显。

Introduction

无监督对比学习采用了一种损失函数，该函数迫使同一个例子的不同观点的表征趋于相似，而不同例子的表征趋于不同。一个最直观的例子是为某一个样本生成相应的正例以及负例子，让训练模型对正负利做出有效的区分。但是这种类似于聚类的方式总是基于无监督方式的，并且尽管有一些研究【SUPERVISED CONTRASTIVE LEARNING FOR PRE-TRAINED LANGUAGE MODEL FINE-TUNING，ICLR2021】试图将对比学习引入到有监督的NLP任务中，但是相应的研究还比较少。
因此，这篇论文的目的是在有监督的环境下开发一种更自然的对比学习方法，将分类器 $\theta$