Reasoning in Conversation: Solving Subjective Tasks through Dialogue Simulation

本文是LLM系列文章，针对《Reasoning in Conversation: Solving Subjective Tasks through
Dialogue Simulation for Large Language Models》的翻译。

摘要

大型语言模型（LLM）在开放域问答和数学推理等客观任务中取得了显著的性能，这些任务通常可以通过回忆所学的事实知识或思维链式推理来解决。然而，我们发现LLM在主观任务中的表现仍然不尽如人意，如隐喻识别、黑色幽默检测等。与客观任务相比，主观任务更侧重于解释或情绪反应，而不是普遍接受的推理途径。基于任务的特点和LLM强大的对话生成能力，我们提出了一种通过对话模拟解决主观任务的方法RiC。RiC的动机是通过模拟对话而不是提供思维链式的推理来挖掘有用的上下文信息，从而在对话背后提供潜在的有用知识，从而给出最终的答案。我们在12项任务中评估了基于API和开源LLM，包括GPT-4、ChatGPT和OpenChat。实验结果表明，与各种基线相比，RiC可以产生显著的改进。

1 引言

2 相关工作

3 方法

4 实验

5 分析和讨论

6 结论

我们引入了RiC（即对话中的推理），这是一种无调整的方法，旨在通过对话模拟增强LLM解决主观任务的能力。所提出的RiC的核心动机是基于当前LLM的高