本文是LLM系列文章,针对《Is Prompt All You Need? No. A Comprehensive and Broader View of Instruction Learning》的翻译。
提示是否是你所需要的?全面和开阔的回顾指令学习
摘要
任务语义可以通过一组输入输出示例或一条文本指令来表达。用于自然语言处理(NLP)的传统机器学习方法主要依赖于大规模任务特定示例集的可用性。出现了两个问题:首先,收集特定于任务的标记示例不适用于任务可能过于复杂或昂贵而无法注释的场景,或者系统需要立即处理新任务的场景;其次,这不是用户友好的,因为最终用户可能更愿意在使用该系统之前提供任务描述,而不是一组示例。因此,社区对NLP的一种新的监督寻求范式越来越感兴趣:从任务指令中学习。尽管取得了令人印象深刻的进展,但社会仍有一些共同的问题需要解决。本文试图通过回答以下问题来总结和提供对当前指令学习研究的见解:(i)什么是任务指令,存在哪些指令类型?(ii)如何为指令建模?(iii)哪些因素影响并解释指令的执行情况?(iv)指令中还有哪些挑战?据我们所知,这是第一次对文本指令进行全面的调查。