jinniulema的博客

传统方法采用retrieve-and-generate 的范式进行检索增强，这种方式一般仅检索一次。本文提出了一种名为的主动检索的方法，可以在生成过程中主动决定何时检索以及检索的内容。具体来说，它迭代式地对 待生成的句子进行预测，如果预测的句子中含有低置信度的token，就使用预测的结果作为query检索相关文档，然后重新生成句子。

大型语言模型通常分两阶段进行训练：（1）对海量原始文本进行无监督预训练，学习通用表征；（2）指令微调和强化学习，更好地适应最终任务和对齐用户偏好。该论文通过训练LIMA来衡量这两个阶段的相对重要性，LIMA是一个65B参数的LLaMa语言模型，在没有任何强化学习或人类偏好建模的情况下，只对1000个精心策划的prompts和responses进行了标准监督损失的微调。LIMA表现出了非常强大的性能，只从训练数据中的少数几个例子中学习到了特定的响应格式，包括一些复杂的查询。