The Ubuntu Dialogue Corpus- A Large Dataset for Research in Unstructured Multi-Turn Dialogue Systems

最新推荐文章于 2024-08-15 09:34:30 发布

最新推荐文章于 2024-08-15 09:34:30 发布 · 3.3k 阅读

Ubuntu对话语料库包含1,000,000个训练样本，用于研究不结构化的多轮对话系统。数据集分为训练、验证和测试集，具有正负标签。模型旨在从多个干扰选项中识别正确的响应，并通过recall@k进行评估。代码示例展示了训练和评估时的批处理大小配置。" 114131694,10297274,Android保持Session会话实战,"['Android开发', '会话管理', 'Java', '网络请求']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ubuntu对话语料库

训练数据由：1,000,000个例子组成，50%positive(label1)50%negative(label0)。每个example由一个文本，这里有对话，一个表达和一个与之对应的回答，和一个negative　label意味着这个表达不正确－－这个negative label是从语料库中随机选取的。这里有一些数据的例子
enter image description here
　　这个数据集有test和validations sets。从这些训练数据中的格式是不一样的。每一条记录在test/validation set　都有context，a ground truth utterace（the real respose）和９个不正确的utterances叫做distractors（干扰选项）。模型的目标是把得分最高的utterace分配给正确的utterace，和把得分地的分配给错误的utterances。
　　 enter image description here
　　有许多方式来评估我们的模型效果。一个常用的度量标准是recall@k。Recall＠k意味着我们让模型从10个可能的响应(1 true 9 distractors)挑选出最好的response。