Collaborative decoding of critical tokens for boosting factuality of large language models

本文是LLM系列文章，针对《Collaborative decoding of critical tokens for boosting factuality of large language models》的翻译。

摘要

大型语言模型最常见的训练管道包括预训练、微调和对齐阶段，以及它们各自的结果模型，如预训练模型和微调模型。经过微调和调整的模型显示出更好的指令遵循和安全生成能力，但它们保持真实世界的能力会受到微调过程的影响。此外，在生成过程中使用采样的常见做法也增加了产生幻觉的机会。在这项工作中，我们引入了一个协作解码框架，通过关键token的概念来利用预训练模型中的高真实性。我们首先设计了一个关键token分类器来决定下一个token使用哪个模型，然后使用不同的解码策略生成下一个token。对不同模型和数据集的实验表明，我们的解码框架能够显著减少模型幻觉，这表明了协作解码框架的重要性。

1 引言

2 关键token

3 协同解码策略

4 实验

5 相关工作

6 结论

在这项工作中，我们提出了一种称为协作解码策略（CDS）的解码策略框架，其中模型协同工作以联合解码和生成。我们还提出了关键token的概念，关键token是在某些评估标准下通常不容忍变化的token。模型CDS由关键token分类器决定协作，旨在利用外部知