Decomposed Prompting: Unveiling Multilingual Linguistic Structure Knowledge in English-Centric LLMs

本文是LLM系列文章，针对《Decomposed Prompting: Unveiling Multilingual Linguistic Structure Knowledge in English-Centric Large Language Models》的翻译。

摘要

尽管英语在训练数据中占主导地位，但GPT-3和LLaMA等以英语为中心的大型语言模型（LLM）在执行多语言任务方面表现出了非凡的能力，这引发了人们对其跨语言能力的深度和性质的质疑。本文介绍了分解提示法来探究序列标注任务中这些LLM的语言结构理解。与单一的文本-文本提示不同，我们的方法为输入句子的每个token生成一个单独的提示，要求提供其语言标签。我们在38种语言的通用依赖词性token数据集上评估了我们的方法，同时使用了以英语为中心和多语言LLM。我们的研究结果表明，在零样本和小样本的情况下，分解提示的疗效和效率超过了迭代提示基线。进一步的分析揭示了评估方法和提示中使用说明的影响。我们的多语言调查表明，以英语为中心的语言模型平均比多语言模型表现更好。我们的研究深入了解了以英语为中心的LLM的多语言可迁移性，有助于理解他们的多语言语言知识。

1 引言

2 背景和相关工作

3 LLM的分解提示

4 实验设置

5 结果与分析

6 多语言调查