Talking the Talk Does Not Entail Walking the Walk: On the Limits of Large Language Models-优快云博客

本文是LLM系列文章，针对《Talking the Talk Does Not Entail Walking the Walk: On the Limits of Large Language Models in Lexical Entailment Recognition》的翻译。

说到不一定做到：论大语言模型在词汇蕴涵识别中的局限性

摘要
1 引言
2 相关工作
3 本研究中使用的资源
4 方法
5 结果
6 结论

摘要

动词构成了语言的支柱，为句子提供了结构和意义。然而，它们错综复杂的语义细微差别构成了一个长期的挑战。通过词汇蕴涵的概念理解动词关系对于理解句子含义和把握动词动态至关重要。这项工作研究了八种大型语言模型通过不同设计的提示策略和对来自两个词汇数据库（即 WordNet 和 HyperLex）的动词对的零/小样本设置来识别动词之间的词汇蕴涵关系的能力。我们的研究结果揭示了这些模型可以以中等好的性能处理词汇蕴涵识别任务，尽管有效性程度不同，条件不同。此外，使用小样本提示可以提高模型的性能。然而，完美解决这项任务对所有接受研究的 LLM 来说都是一个未解决的挑战，这为该主题的进一步研究发展提出了前景。

1 引言

2 相关工作

3 本研究中使用的资源

4 方法

5 结果

6 结论

我们介绍了 LLM 代表机构在处理词汇蕴涵识别任务方面的能力的调查。据我们所知，这是第一项旨在阐明 LLM 实际技能的系统研究，重点是开放模型，以识别动词之间的蕴涵关系，根据有充分依据的、手动策划的词汇资源（如 WordNet 和 HyperLex）来衡量它们的准确性。为了实现我们的研究目标，我们定义了三种提示类型，在零样本和少数样本学习场景中提供不同级别的上下文信息。我们的结果显示了所研究的 LLM 中出现的能力和局限性的证据，可以总结如下：（i）尽管在不同的有效性程度和不同的条件下