大语言模型集成策略对比研究

多样LLM还是多样问题解释？这是集成方法的关键问题

有效利用多样性已被证明能够提升包括大语言模型（LLM）在内的各种机器学习模型的性能。然而，如何最有效地使用多样性仍然是一个挑战。

本研究比较了两种用于回答二元问题的LLM多样性方法：

• 模型多样性：依赖多个模型回答同一问题
• 问题解释多样性：依赖同一模型以不同方式表述的同一问题

在这两种情况下，都采用多数投票作为集成共识启发式方法来确定最终答案。

在boolq、strategyqa和pubmedqa数据集上的实验表明，与模型多样性相比，问题解释多样性始终能够带来更好的集成准确率。此外，对GPT和LLaMa的分析显示，模型多样性通常产生的结果介于最佳和最差集成成员之间，而没有明显的改进。

主题分类：

• 计算与语言（cs.CL）
• 人工智能（cs.AI）
• 机器学习（cs.LG）

MSC分类：68T50
ACM分类：I.2.7; I.2.0
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码