Fast-Slow-Thinking: Complex Task Solving with Large Language Models

主要内容

1. 研究背景：大语言模型（LLMs）在自然语言处理领域广泛应用，但处理复杂任务时存在局限。现有任务分解方法在面对复杂逻辑和约束的任务时效果不佳，导致生成的解决方案偏离任务目标或包含冗余、错误内容。
2. 相关工作：回顾现有任务分解方法，包括顺序分解法和并行分解法。顺序分解法用于解决推理问题，并行分解法用于处理子任务相互独立的任务。多数现有方法类似人类慢思考系统，易使LLMs过度关注细节而忽略任务全局意义。
3. 方法介绍：提出“快思考-慢思考”（FST）任务分解方法，模拟人类思考模式，分为快思考（FT）、慢思考（ST）和输出检查（OI）三个步骤。FT简化任务，生成通用解决方案；ST考虑被FT忽略的约束，优化解决方案；OI检查并纠正前两步可能出现的错误。
4. 算法实现：给出FST在不同任务上的通用提示模板，包括FT、ST和OI的具体提示设计，通过设置身份、简化任务、生成答案、重新考虑约束、改进答案以及检查正确性和其他特征等步骤，引导LLMs完成任务。
5. 实验结果：在数学推理、长文本回答和受限故事生成三类任务上进行实验，使用GPT-3.5-turbo、Llama-3.1-8B-Instruct和Gemini-pro作为骨干模型，与多种基线方法对比。结果表明FST在多个