超级会员免费看
本文提出了一种名为SELF-DISCOVER的框架，让大型语言模型（LLM）能自我构建用于复杂推理问题的结构。相较于思想链（CoT），SELF-DISCOVER在GPT-4和PaLM 2上提高了32%的性能，同时减少10-40倍的推理计算量。这种方法在不同规模的模型中普遍有效，且与人类推理模式有共性。
本文是LLM系列文章，针对《SELF-DISCOVER: Large Language Models Self-Compose Reasoning Structures》的翻译。
自发现：大型语言模型的自组合推理结构
摘要
我们介绍了自发现，这是LLM自发现任务内在推理结构的通用框架，用于解决复杂的推理问题，这些问题对典型的提示方法具有挑战性。该框架的核心是自我发现过程，LLM选择多个原子推理模块，如批判性思维和逐步思维，并将它们组成一个明确的推理结构，供LLM在解码过程中遵循。与思想链（CoT）相比，自发现大大提高了GPT-4和PaLM 2在具有挑战性的推理基准（如BigBench Hard、扎根代理推理和MATH）上的性能，提高了32%。此外，SELFDISCOVER比CoT自一致性等推理密集型方法的性能高出20%以上，同时所需的推理计算量减少了10-40倍。最后，我们证明了自发现的推理结构在模型族中普遍适用：从PaLM 2-L到GPT-4，从GPT-4到Llama2，并且与人类推理模式具有共性。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
