Decomposed Prompting: Unveiling Multilingual Linguistic Structure Knowledge in English-Centric LLMs

UnknownBody

于 2024-05-09 17:07:28 发布

阅读量118

点赞数

分类专栏： LLM Daily LLM Prompt 文章标签：语言模型自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138620568

版权

LLM Daily 同时被 2 个专栏收录

1175 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM Prompt

40 篇文章

订阅专栏

本文探讨了以英语为中心的大型语言模型（LLM）如GPT-3和LLaMA在多语言任务中的能力，采用分解提示法研究它们的语言结构理解。实验显示，分解提示在零样本和小样本情况下优于传统方法，揭示了英语LLM对语言结构的深刻理解。同时，研究发现这些模型在多语言任务中的表现受语言与英语的相似度和提示策略影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Decomposed Prompting: Unveiling Multilingual Linguistic Structure Knowledge in English-Centric Large Language Models》的翻译。

摘要

尽管英语在训练数据中占主导地位，但GPT-3和LLaMA等以英语为中心的大型语言模型（LLM）在执行多语言任务方面表现出了非凡的能力，这引发了人们对其跨语言能力的深度和性质的质疑。本文介绍了分解提示法来探究序列标注任务中这些LLM的语言结构理解。与单一的文本-文本提示不同，我们的方法为输入句子的每个token生成一个单独的提示，要求提供其语言标签。我们在38种语言的通用依赖词性token数据集上评估了我们的方法，同时使用了以英语为中心和多语言LLM。我们的研究结果表明，在零样本和小样本的情况下，分解提示的疗效和效率超过了迭代提示基线。进一步的分析揭示了评估方法和提示中使用说明的影响。我们的多语言调查表明，以英语为中心的语言模型平均比多语言模型表现更好。我们的研究深入了解了以英语为中心的LLM的多语言可迁移性，有助于理解他们的多语言语言知识。