自然语言处理技术前沿发展与挑战

最新推荐文章于 2025-12-17 15:06:15 发布

原创最新推荐文章于 2025-12-17 15:06:15 发布 · 868 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理 #easyui #人工智能 #机器学习 #模型优化 #程序那些事 #AIGC

部署运行你感兴趣的模型镜像

ACL：自然语言处理的未来发展方向

会议：ACL 2022

Kathleen McKeown，哥伦比亚大学计算机科学教授兼某机构学者，与计算语言学协会有着悠久的历史渊源，该协会的年会于本周举行。从1990年到1992年，她先后担任协会执行委员会成员、副主席，最后担任主席；从1995年到1997年，她担任司库。

最近，在2020年，她是会议的两名主题演讲者之一，今年，她是程序委员会的高级领域主席。因此，她对会议的过去和未来走向有着特别好的视角。

"最初，语言学家、计算机科学家和心理学家之间进行了更多的跨学科工作，"McKeown说。"随着时间的推移，我们看到ACL真正更加专注于机器学习和计算机科学。

当然，该领域最大的变化是大型语言模型的引入和使用提示的少样本学习，我们在GPT-3和其他一些大型语言模型中看到了这一点。但在使用提示的少样本学习之前，我们有了微调。大型语言模型使用大量数据进行了预训练，然后你可以用较少的标记数据对它们进行特定任务的微调。这意味着我们不必为每个任务都拥有大量的标记数据，这是一个巨大的进步。

然后，最近的进展是，你只需向像GPT-3这样的模型输入几个示例，就可以得到非常令人印象深刻的输出。"

待解决的问题

"当我教学时，学生们问我，‘NLP（自然语言处理）还有什么事可做吗？’"McKeown说。"从表面上看，这是个好问题，因为这些模型看起来如此令人印象深刻。

问题是，我们还没有完成。这些大型语言模型非常非常大。即使你使用预训练的语言模型，它们也需要大量的计算资源。所以一个问题是我们如何用参数更少的小型模型来做事情？另外，我们如何处理数据量非常少的任务？我认为这是两个持续存在的问题。

我们现在在ACL看到的是，人们正在尝试使用GPT-3类模型的提示。提示可以是一个单词，可以是某种标签，也可以是自然语言指令，比如’这个段落的摘要就是这个句子。'所以一个问题是，我们如何设计这些提示和指令？"

McKeown说，NLP面临的另一个问题是机器学习许多其他应用也面临的问题：如何适应现实世界中不断变化的数据分布。

"大多数模型是静态的，"McKeown解释说。"它们是在某个时间点构建的，它们所代表的基本上是该时间点的真实情况。但世界每分钟、每秒钟都在变化。曾经正确的事情不再正确。总统更换了；我们可能应该能在某种分布变化中看到这一点。处理动态世界是一个新兴的新领域。

"另一个主题是伦理。在ACL，有一个关于NLP伦理的完整专题，研究这些大型语言模型编码了哪些偏见。如果我们能发现它们，我们如何减轻它们？

低资源语言

"这次ACL会议的主题——也是该领域的一个普遍主题——是低资源或濒危语言。这些语言的数据非常少。可能只有很少的使用者。我们如何为它们开发机器翻译，或者如何开发不同的多语言应用？

在ACL，有一篇最佳专题论文关于’语言复兴的低资源语音合成的需求与动机’。这是一篇关于加拿大三种土著语言的非常有趣的论文。社区中能说这些语言的人已经很少了。但语音合成可以帮助年轻一代学习语言，让他们听到并了解语言，以免语言失传。

“另一个对该领域也很重要的领域是NLP模型的可解释性和分析。如果我们有做出预测的NLP模型，但我们无法解释它们为什么做出那样的预测，它们的用处就会减少。可解释性也可以包括模型检查之类的事情。你知道，我们过去总是有一个独立的句法组件。现在没有了，但如果我们检查模型，我们可以看到使用了什么样的句法信息。”

最后，McKeown说，ACL有一系列工作让人回想起会议跨学科的过去。

"我认为人们仍然对心理语言学和认知建模感兴趣，"她说。“有不少人已经表明或正在表明这类信息仍然可以影响我们的模型和应用的性能。例如，有工作表明这些模型确实编码了句法信息以及它们编码了什么样的信息。所以这一传统在ACL仍然存在。”