DeLLMa: A Framework for Decision Making Under Uncertainty with Large Language Models

本文是LLM系列文章，针对《DeLLMa: A Framework for Decision Making Under Uncertainty with Large Language Models》 的翻译。

摘要

大型语言模型（LLM）在整个社会中的使用越来越多，包括在商业、工程和医学等领域。这些领域经常在不确定性的情况下努力决策，这是一项关键但具有挑战性的任务。在本文中，我们表明，在这些类型的决策问题上直接提示LLM会产生较差的结果，特别是当问题复杂性增加时。为了克服这一限制，我们提出了DeLLMa（决策大型语言模型助手），这是一个旨在提高不确定环境中决策准确性的框架。DeLLMa涉及一个多步骤的脚手架程序，借鉴决策理论和效用理论的原理，提供一个最佳的、可供人类审计的决策过程。我们验证了涉及真实农业和金融数据的决策环境框架。我们的结果表明，DeLLMa可以显著提高LLM的决策性能，与竞争方法相比，准确率提高了40%。

1 引言

2 相关工作

3 方法

4 实验

5 结论

我们提出了DeLLMa，这是一个旨在利用LLM在高风险环境中的不确定性下进行决策的框架。我们讨论了一种结构化的方法，在该方法中，我们为LLM提供了一个遵循经典决策理论原理的支架，然后开发了一个可行的LLM实现。通过在真实数据集上的实验，我们强调了流行提示策略在应用于此类决策任务时的系统性失败，并展示了我们解决这些问题