TÜLU 3：开拓开放语言模型后训练的前沿

各位亲爱的读者，欢迎来到一场科研与幽默并重的盛宴！今天，我们将探讨语言模型的后训练技术，这个领域虽然看似枯燥，但在我们的笔触下将变得妙趣横生。正如那句古老的谚语所言：“就像骆驼在商队中与他人分享负担一样，智者通过分享他们的见解来减轻无知的重担。”我们将以此为起点，深入了解TÜLU 3，一个全新的开放后训练模型家族。

TÜLU 3 概述 🌟

TÜLU 3的诞生是为了弥合开放与封闭后训练之间的鸿沟。通过整合部分专有方法的细节与创新技术，TÜLU 3在后训练研究中开拓了新的边界。其卓越的表现归功于一系列开放的数据、代码、训练配方和评估框架。

数据与评估 🗂️

TÜLU 3的训练数据来源广泛，包括公共数据集和合成数据，这些数据专注于核心技能的培养，如推理、数学、编程、安全性、精确指令追踪及知识回忆等。这些数据经过精心策划，以确保模型在各项任务中的表现都能达到最佳。

训练配方 🍳

TÜLU 3的训练过程犹如一道精致的多道菜，由多个阶段组成，每个阶段都在前一阶段的基础上进行改进。训练策略包括：

• 监督微调（SFT）：通过对精心挑选的提示和完成进行微调，以提升目标核心技能。<