如何通过“链式推理”（CoT）增强模型蒸馏的效果

本文链接：https://blog.youkuaiyun.com/Code1994/article/details/144408735

文章探讨了如何通过“链式推理”（CoT）增强模型蒸馏的效果。研究发现，将由大型语言模型生成的推理链附加在目标标签之后进行训练，小型模型在推理任务中的表现会得到显著提升。此外，推理链的顺序、长度和连贯性并不关键，甚至少量关键性词汇也能达到类似效果。这表明推理链并不一定需要在推理时生成，而是作为训练信号对模型的学习有帮助。研究还通过实验分析了推理链在不同条件下对模型性能的影响。

一、链式推理-COT

链式推理增强模型蒸馏的有效性

研究表明，通过将大型语言模型生成的链式推理序列（CoT）加入到目标标签中作为训练数据，可以显著提高小型模型在推理任务中的表现。模型通过模仿这些推理链，更好地掌握任务中的逻辑关系。
实验发现，将推理链附加在目标标签之后比放在标签之前效果更好。这表明，在测试阶段，模型不需要生成推理链，只需学习如何使用这些推理链作为额外的训练信号。

l推理链的顺序和连贯性并不关键

随机排列推理链也能有效：即使将推理链中的词汇顺序打乱，模型的性能仍然能够显著提升。这意味着推理链本身的逻辑连贯性在训练阶段并非至关重要。
推理链提供额外的监督信号：推理链作为训练信号的作用在于增强模型对目标标签的学习，而不是用于生成连贯的逻辑推理。这表明模型在推理时并不依赖完整的推理链。

少量关键性词汇可以替代完整推理链

关键词汇足以带来提升：研究表明，使用推理链中的少量关键词汇就能实现与完整推理链相似的性能提升。这表明模型能够从少量的关键信息中学习，而不需要生成完整的推理链。
关键词识别的重要性：实验通过逐步遮蔽推理链的部分词汇，发现只保留关键性词汇的推理链能够维持模型的高性能。这表明关键词汇在模型学习中扮演了核心角色。

推理链增强训练信号而非推理能力

推理链的作用在训练阶段：虽然链式推理的直觉是增强模型的推理能力，但实验表明，它的主要作用是在训练阶段提供额外的上下文信息，而不是增强模型在推理时生成逻辑推理链的能力。
推理链不用于测试时推理：研究显示，模型在测试时不需要生成推理链，依然可以实现高性能。这说明推理链的作用更多体现在训练过程中丰富模型的训练信号，而不是直接提升推理能力。

推理链的使用

顺序重要性与位置相关：当推理链放置在目标标签之前时，推理链的顺序和连贯性对模型表现有较大影响；而当推理链放在标签之后时，顺序和连贯性影响很小。这表明模型在不同训练设置下对推理链的依赖程度不同。
增加计算量的影响有限：研究还分析了通过增加“虚拟”计算步骤（如加入无关词汇）是否能提高性能，结果显示仅仅增加计算量并不能代替推理链中的关键信息，表明推理链确实为训练提供了有用的信号。