LearnLM: Improving Gemini for Learning

本文是LLM系列文章，针对《LearnLM: Improving Gemini for Learning》的翻译。

摘要

今天的生成式人工智能系统默认情况下会呈现信息，而不是像人类导师那样让用户参与学习服务。为了解决这些系统的广泛潜在教育用例，我们将注入教学行为的挑战重新定义为一种教学指导，其中培训和评估示例包括描述后续模型中存在或期望的具体教学属性的系统级指令。这种框架避免了将我们的模型委托给任何特定的教育学定义，而是允许教师或开发人员指定所需的模型行为。它还为改进Gemini学习模型扫清了道路——通过将我们的教学数据添加到培训后的混合物中——以及它们迅速扩展的能力集。两者都代表了我们最初的技术报告[1]的重要变化。我们展示了采用教学指导的培训如何产生一个LearnLM模型（可在谷歌人工智能工作室上获得），该模型在各种学习场景中受到专家评分者的青睐，平均偏好强度比GPT-4o高31%，比Claude 3.5高11%，比LearnLM所基于的Gemini 1.5 Pro模型高13%。

1 引言

2 建模

3 人类评价设计

4 结果

5 结论

我们已经描述了我们改进学习用例基础模型的动机和方法，该模型依赖于系统指令来调节所需的行为。我们更新了Gemini的训练后组合，添加了演示数据（通过SFT）和人类偏好数据（通过奖励模型和RLHF），以教导模型遵循一系列指令指导。然后，我们将得到的LearnLM模型与可比模型进行了评估，显示出对LearnLM的显著偏好，特别是在指令跟随能力方面，更广泛地说，在许多教学维度上。这里描述的工作代表