bert常用基准数据集：GLUE数据集介绍以及数据集资源

最新推荐文章于 2025-03-09 12:36:40 发布

CharyLiey

最新推荐文章于 2025-03-09 12:36:40 发布

阅读量1.4k

点赞数

文章标签： bert

本文链接：https://blog.youkuaiyun.com/qq_40503347/article/details/126976043

版权

GLUE是一个用于自然语言理解的多任务基准，包含9个任务如CoLA、SST-2等。本文介绍了每个任务的数据集特性，如CoLA的语法可接受性分类，SST-2的情感分析，MRPC和QQP的释义判断，以及MNLI等的自然语言推理。模型如BERT会在此基准上进行测试。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

GLUE基准数据集介绍及下载

介绍：

所有任务都是单句或者句子对分类，除了STS-B是一个回归任务。MNLI有3个类别，所有其他分类任务都是2个类别。

像BERT、XLNet、RoBERTa、ERINE、T5等知名模型都会在此基准上进行测试。目前，大家要把预测结果上传到官方的网站上，官方会给出测试的结果。

GLUE的论文为：GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding

GLUE共有九个任务，分别是CoLA、SST-2、MRPC、STS-B、QQP、MNLI、QNLI、RTE、WNLI。如下图图2所示，可以分为三类，分别是单句任务，相似性和释义任务，所有任务都是单句或者句子对分类，除了STS-B是一个回归任务。MNLI有3个类别，所有其他分类任务都是2个类别。

1 CoLA数据集

CoLA(The Corpus of Linguistic Acceptability，语言可接受性语料库)，单句子分类任务，语料来自语言理论的书籍和期刊，每个句子被标注为是否合乎语法的单词序列。本任务是一个二分类任务，标签共两个，分别是0和1，其中0表示不合乎语法，1表示合乎语法。

样本个数：训练集8, 551个，开发集1, 043个，测试集1, 063个。
任务：可接受程度，合乎语法与不合乎语法二分类。

2 SST-2数据集

SST-2(The Stanford Sentiment Treebank，斯坦福情感树库)，单句子分类任务，包含电影评论中的句子和它们情感的人类注释。这项任务是给定句子的情感，类别分为两类正面情感（positive，样本标签对应为1）和负面情感（negative，样本标签对应为0），并且只用句子级别的标签。也就是，本任务也是一个二分类任务，针对句子级别，分为正面和负面情感。

样本个数：训练集67, 350个，开发集873个，测试集1, 821个。
任务：情感分类，正面情感和负面情感二分类。

3 MRPC数据集

MRPC(The Microsoft Research Paraphrase Corpus，微软研究院释义语料库)，相似性和释义任务，是从在线新闻源中自动抽取句子对语料库，并人工注释句子对中的句子是否在语义上等效。类别并不平衡，其中68%的正样本，所以遵循常规的做法，报告准确率（accuracy）和F1值。

样本个数：训练集3, 668个，开发集408个，测试集1, 725个。

任务：是否释义二分类，是释义，不是释义两类。
评价准则：准确率（accuracy）和F1值。