FEW-SHOT CROSS-LINGUAL TRANSFER FOR PROMPTING LARGE LANGUAGE MODELS IN LOW-RESOURCE LANGUAGES_freetransfer-x: safe and label-free cross-lingual -优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139175149

本文研究了如何使用LLaMa大型语言模型在低资源语言（如基尼亚卢旺达语、豪萨语和卢甘达语）中进行提示。通过对比最少提示、语言自适应微调和翻译方法，实验发现翻译和提示在计算效率和性能上优于LAFT，特别是在所有任务和语言中，提示方法的表现最佳。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，这是一篇本科论文，针对《FEW-SHOT CROSS-LINGUAL TRANSFER FOR PROMPTING LARGE LANGUAGE MODELS IN LOW-RESOURCE LANGUAGES》的翻译。

摘要

大型预训练语言模型（PLM）处于自然语言处理进步的前沿。PLM的一个广泛使用案例是“提示”——或上下文学习——用户在提示PLM对新示例执行任务之前，向PLM提供任务的描述和任务的一些已完成示例作为上下文。只有最大、最有能力的PLM才能有效地执行上下文学习，并且这些模型通常使用以英语为主的语料库进行训练，而将所有其他语言抛在后面。大多数语言中的数据限制排除了能够提示的特定语言PLM的训练。尽管提示设置的工作激增，但仍不清楚PLM应如何专门用于提示的跨语言调整。我们评估了将LLaMa（一种主要用英语训练的7B参数开源PLM）用于低资源语言（即基尼亚卢旺达语（kin）、豪萨语（hau）和卢甘达语（Luganda））提示的可能方法。我们考虑了三种方法：最少提示（prompt）、语言自适应微调（LAFT）和神经机器翻译（translate），并对抽象摘要、多类别主题分类和命名实体识别进行了评价。尽管LAFT具有最大的计算成本，并且直观地应该产生最佳结果ÿ