大语言模型常见任务及评测数据集汇总（二）：90个数据集！

最新推荐文章于 2025-10-26 10:58:45 发布
最新推荐文章于 2025-10-26 10:58:45 发布
阅读量2.2k 收藏 13
点赞数 8
CC 4.0 BY-SA版权
分类专栏： 大模型理论和实战 文章标签： 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zengzizi/article/details/137251161
这篇博客汇总了90个关于语言模型的任务和相关数据集，涵盖了命名实体识别、自然语言生成、对话系统、信息抽取、内容审核、语义搜索、语音识别、机器阅读理解及代码生成等多个领域。数据集包括CoNLL 2003、ACE、OntoNotes、WMT News Commentary、Gutenberg电子书、Reddit Comments、Switchboard、DialoGPT、Ubuntu Dialogue Corpus、TAC KBP、Jigsaw Toxic Comment Classification Challenge、MS MARCO、LibriSpeech等，为不同任务的训练和评估提供了丰富的资源。

1. 命名实体识别（NER）

  1. CoNLL 2003：这是一个广泛使用的英文NER数据集，包含了多个领域的文本，如新闻、财经和政治。它识别四种类型的实体：人名、地名、组织名和其它专有名词。
  2. ACE (Automatic Content Extraction)：ACE数据集是一个多语种的数据集，包含了英语、阿拉伯语和汉语等，它识别的实体类型更为丰富，包括人名、地名、组织名、时间表达式、数量表达式等。
  3. OntoNotes：这是一个大规模的英文数据集，包含了多种类型的文本，如新闻、对话和文本文档。它识别的实体类型包括人名、地名、组织名、时间表达式等。
  4. WNUT (Word-level Nested NER)：这是一个英文NER数据集，特别关注嵌套实体和稀有实体类型的识别。
  5. BC5CDR (BioCreative V Chemical Disease Relation)：这是一个生物医学领域的数据集，专注于化学物质和疾病的识别。
  6. NCBI Disease：这是一个专注于疾病实体识别的生物医学数据集。
  7. MIT Movie Dataset
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【NLP】第 6 章：用于文本分类的卷积神经网络
sikh_0529的博客
09-28 7795
在上一章中，我们展示了如何使用 RNN 为文本提供情感分类。然而，RNN 并不是唯一可用于 NLP 分类任务的神经网络架构。卷积神经网络( CNN ) 是另一种这样的架构。RNN 依赖于顺序建模，保持一个隐藏状态，然后逐字逐句逐句遍历文本，在每次迭代时更新状态。CNN 不依赖于语言的顺序元素，而是尝试通过单独感知句子中的每个单词并学习其与句子中围绕它的单词的关系来从文本中学习。虽然出于此处提到的原因，CNN 更常用于对图像进行分类，但它们已被证明在文本分类方面也很有效。虽然我们确实将文本视为一个序列，但我们
大语言模型常见任务及评测数据集汇总（一）：70 余个数据集!
大F子的智能小课
04-06 6852
1. 文本分类 1.1. 中文文本分类数据集： THUCNews：清华大学推出的中文新闻文本数据集，包含了74万篇新闻文章，覆盖了10个类别。 LCQMC：哈尔滨工业大学发布的数据集，主要用于中文句子匹配任务，也常用于文本分类。 BQ Corpus：同样用于中文句子匹配，也可用于文本分类。 1.2. 英文文本分类数据集： IMDb：包含50,000条影评数据，分为正面和负面两类，常用于情感分析。 20 Newsgroups：包含约20,000条新闻组文档，分为20个类别。
GENIA corpus3.02p生物医学实体识别语料库
04-19
GENIA语料库是为GENIA项目编写并标注的最初的生物医学文献集合。这个语料库是为了发展和评估分子生物学信息检索及文本挖掘系统而创建的。这个语料库包含1999条Medline的摘要，这些摘要是由PubMed按照human、blood cells以及transcription factors三个医学主题词（medical subject heading terms ）为搜索条件搜索到的。这个语料库已经被按照不同级别的语言信息、语义信息进行标注。
CS224N学习笔记（十五）Natural Language Generation
rocking_struggling的博客
05-22 1019
1.Recap: LMs and decoding algorithms 课程首先回顾了前面讲的语言模型和相关decode算法。 Natural Language Generation (NLG) NLG是NLP的一大类任务类型，给定一些条件生成一些文本，NLG包括： Machine Translation (Abstractive) Summarization Dialogue (chit-chat and task-based) Creative writing: storytelling, poet
如何快速上手Natural Questions：谷歌开源的终极问答数据集指南
最新发布
gitblog_00859的博客
10-26 820
Natural Questions（简称NQ）是谷歌开源的顶级问答数据集，专为训练和评估自动问答系统设计。它包含真实用户向谷歌搜索提出的问题及来自知识资源的权威答案，是NLP研究者和开发者提升机器阅读理解能力的必备资源。 ## ???? 为什么选择Natural Questions？三大核心优势解析 Natural Questions数据集凭借其独特的构建方式，在众多NLP数据集中脱颖而出。以下是...
大语言模型开源数据集
产品老A，7年互联网大厂AIPM，专注探索新型人机交互
04-09 4883
本文目标：汇聚目前大语言模型预训练、微调、RM/RL、评测等全流程所需的常见数据集，方便大家使用，本文持续更新。文章较长，建议收藏后使用。
一文读懂 LLM Datesets （大语言模型数据集）【大模型行业应用入门系列】
qingkahui24689的博客
08-13 1191
在利用和应用大型语言模型（LLM）时，适当的 Datasets 发挥着至关重要的作用。本文介绍了几种不同类型的LLM Datasets、Datasets 如何在 LLM 中发挥其作用，以及如何利用LLM Datesets。随着大模型越来越成熟、稳定，业内人士预估2024年将会进入大模型应用元年。twt社区推出**【大模型行业应用入门系列】**文章，为相关人员提供必要的基础知识储备，后续还将推出实践系列，以应对大模型在各个行业的广泛应用带来的挑战，欢迎关注公众号每周的内容更新。
大模型 / NLP/CV/ 多模态论文笔记与开源仓库、数据集及评测汇总
08-20
这些模型通过预训练在大规模数据集上学习语言表示，然后通过微调在特定任务上取得卓越的性能。 在NLP方面，文档汇集了各类研究论文的阅读笔记，这些论文可能涵盖了语言模型、文本生成、机器翻译、情感分析、问答...
19个大模型常用的评估数据集和训练数据集汇总
大模型天花板
02-21 1万+
19个大模型常用的评估数据集和训练数据集汇总 名称 简介 测试（数据量） 训练（数据量） 地址 CEval 中文选择题测试，包括中学、高中、大学的多个学科 √，13948 × https://huggingface.co/datasets/ceval/ceval-exam GSM8K 小学数学题目，通过最后的数字检测正确与否 √，1320 √，8790 h
大模型、NLP、CV 等方向 paper 笔记及开源仓库、数据集与评测 leaderboard 汇总
08-20
在人工智能技术研究领域，尤其是自然语言处理（NLP）、计算机视觉（CV）以及大模型等前沿方向，相关研究者与实践者对高质量的论文、开源项目以及数据集和评测基准（leaderboard）的需求日益增长。随着技术的快速发展...
大模型系列：C-Eval中文大模型评测数据集介绍和实践
2401_85325397的博客
05-30 8032
C-Eval整体结构概述C-Eval数据预览C-Eval的Prompt范式Python脚本实现C-Eval评估ChatGLM2-6B在前文《大模型系列：LLM-Eval大模型评测理论简述》中介绍了大模型需要评测的内容，包括NLP任务知识和逻辑推理安全性对齐性等多个角度，C-Eval数据集主要用于评测大模型的知识和逻辑推理能力，即大模型是否能够认识和理解广泛的世界知识，并类似人类一样对事物进行推理规划。
汇总大语言模型LLM的评测基准数据集（BenchMarks）
日常学习与专研的记录
06-28 1万+
本文介绍大语言模型LLM的BenchMarks评测数据集，帮助评估模型能力。
大模型数据集全面综述：770+TB大小涵盖预训练、微调、偏好对齐、评估、特定任务！
m0_59163425的博客
05-14 6448
发布时间：“X”表示未知月份。公开与否：“All”表示完全开源；“Partial”表示部分开源；“Not”表示不开源。“许可证”表示该语料库遵循某种协议。如果该语料库是基于其他语料库构建的，那么源语料库的许可证也必须遵守。
【大模型评测】常见的大模型评测数据集
热门推荐
A-Itfuture的博客
01-17 2万+
同时评测分为两部分，自动化评测的客观题部分和依赖于专家打分的主观题部分，这两部分结果构成了最终的分数，您可以通过构建示例中的脚本快速对一个已部署的大模型进行评测，或者向我们提交您需要评测的模型的主观题预测结果，进行我们人工评分的流水线操作。表述为带有二元选项的填空任务，目标是为需要常识推理的给定句子选择正确的选项。MMLU 是一个包含了 57 个子任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，有效地衡量了人文、社科和理工等多个大类的综合知识能力。
Dataset之NLP之LLMs：大模型核心技术—大语言模型LLMs相关开源数据集的简介(三类数据集【预训练数据/微调数据/测试数据】)、下载(国内外开源数据集平台总结)、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-27 2247
​ Dataset之NLP之LLMs：大模型核心技术—大语言模型LLMs相关开源数据集的简介(三类数据集【预训练数据/微调数据/测试数据】)、下载(国内外开源数据集平台总结)、使用方法之详细攻略 目录 相关文章 LLMs相关开源数据集的简介 LLMs相关开源数据集的下载 LLMs相关开源数据集的使用方法 相关文章 LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一
动手学深度学习（三十六）——语言模型和数据集
Liu Feng's Blog
10-30 2947
语言模型和数据集   在给定这样的文本序列时，语言模型（language model）的目标是估计序列的联合概率。 P(x1,x2,…,xT).P(x_1, x_2, \ldots, x_T).P(x1​,x2​,…,xT​).   语言模型是非常有用的。例如，只需要一次抽取一个标记 xt∼P(xt∣xt−1,…,x1)x_t \sim P(x_t \mid x_{t-1}, \ldots, x_1)xt​∼P(xt​∣xt−1​,…,x1​)，一个理想的语言模型就能够基于模型本身生成自然文本。与猴子使用打
大语言模型数据集（三）
babyzbb636的博客
10-19 2405
在医疗领域，数据并不只是来自患者健康记录、医嘱条目和医生处方。事实上，目前已有数百万人通过家用工具包将他们的基因信息上传到商业数据库。医疗的相关的数据成为越来越重要的资源。NLP可以将人类语言翻译成机器可读的形式，允许机器从提供的数据中获得意义。医疗领域正使用NLP工具控制数据，这些数据的存储形式包括语音、文本、象形文字、照片等其他，通过它们得出有用结论。自然语言处理（NLP）技术这种颠覆性技术在医疗行业的使用，很好的辅助了医疗工作者，促进了医疗行业的发展。
最全 高质量 大模型 -评估基准数据集（不定期更新）
u011559552的博客
09-16 4060
遇见数据集——让每个数据集都被发现，让每一次遇见都有价值。
多模态大模型评测数据集(二)
python_tty的专栏
08-14 383
多模态大模型评测数据集
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大F的智能小课

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值