M-Ped: Multi-Prompt Ensemble Decoding for Large Language Models

本文是LLM系列文章，针对《M-Ped: Multi-Prompt Ensemble Decoding for Large Language Models》的翻译。

摘要

随着大型语言模型（LLMs）在自然语言处理（NLP）领域的广泛应用，提高其性能已成为研究热点。本文提出了一种新的多提示集成解码方法，旨在通过利用多个提示的结果聚合来提高LLM的生成质量。给定一个唯一的输入X，我们以批处理模式向LLM提交n个带有X的提示变体，以解码和推导概率分布。对于每个token预测，我们通过平均批内的n个概率分布来计算集合概率，利用这个聚合概率来生成token。这种技术被称为InnerMatch Ensemble。为了促进高效的批处理推理，我们实现了左填充策略，以在n个提示中保持统一的输入长度。通过对各种NLP任务（包括机器翻译、代码生成和文本简化）的广泛实验，我们证明了我们的方法在提高LLM性能方面的有效性。结果显示BLEU评分有了实质性改善，pass@k与传统方法相比。

1 引言

2 方法

3 实验

4 研究

5 相关工作

6 结论

本研究旨在通过引入多提示集成解码方法来解决提高NLP任务中LLM性能的挑战。我们的方法称为InnerMatch Ensemble，它利用多个提示的多样性来聚合它们的结果，从而提高LLM的生成质量。左填充策略的实施确保了高效的批处理推理，允许在各种提示之间统一输入长度。我们在一系列NLP任务中进行了广泛的实验，包括机器翻译、代码生成和文本简化，证明了我们的内部批处理集成方法的有效性。结果尤其引人注目，