Chain-of-Action: Faithful and Multimodal Question Answering through Large Language Models

本文是LLM系列文章，针对《Chain-of-Action: Faithful and Multimodal Question Answering through
Large Language Models》的翻译。

摘要

我们提出了一个用于多模态和检索增强问答（QA）的行动链（CoA）框架。与文献相比，CoA克服了当前QA应用的两个主要挑战：（i）与实时或领域事实不一致的不忠幻觉和（ii）对合成信息的弱推理性能。我们的主要贡献是一种新颖的推理检索机制，该机制通过系统提示和预先设计的动作将复杂问题分解为推理链。在方法上，我们提出了三种类型的适用于领域的“即插即用”操作，用于从异构源检索实时信息。我们还提出了一种多参考置信度评分（MRFS）来验证和解决答案中的冲突。从经验上讲，我们利用公共基准和Web3案例研究来证明CoA相对于其他方法的能力。

1 引言

2 方法

3 实验

4 相关工作

5 结论和未来工作

我们引入了行动链（CoA）框架，这是一种创新方法，旨在增强LLM处理复杂任务的能力，特别是在实时或特定领域信息至关重要的情况下。我们还提出了一个有效的验证模块，利用我们的MRFS通过检索的信息来校正LLM生成的答案。该框架解决了两个主要挑战：不忠幻觉，LLM生成与现实世界事实不一致的信息，以及在多个信息源的复杂任务中的弱推理。
CoA的一个显著应用是Web3问答产品，该