CHAT VECTOR: A SIMPLE APPROACH TO EQUIP LLMS WITH NEW LANGUAGE CHAT CAPABILITIES

本文是LLM系列文章，针对《CHAT VECTOR: A SIMPLE APPROACH TO EQUIP LLMS WITH NEW LANGUAGE CHAT CAPABILITIES》的翻译。

摘要

随着会话式人工智能（如ChatGPT）的发展，本文重点探索为非英语语言开发大型语言模型（LLM），特别强调与人类偏好的一致性。我们引入了一种计算高效的方法，利用“聊天向量”来协同LLM中预先存在的知识和行为，从持续的预训练中重组传统的训练范式→ SFT→ RLHF持续预训练+聊天。我们的实证研究主要集中在繁体中文上，采用LLaMA2作为基础模型，并通过从LLaMA2-chat的权重中减去预训练的权重LLaMA2-来获得chat向量。从毒性、指令跟随的能力和多回合对话三个不同的方面进行评估，证明了聊天载体在“聊天”中的优越功效。为了证实我们方法的适应性，我们将实验扩展到包括用韩语和简体中文预先训练的模型，说明了我们方法的多功能性。总的来说，我们提出了一个重要的解决方案，通过聊天向量，在各种语言中有效地将LLM与人类偏好相一致。

1 引言

2 相关工作

3 方法

4 实验设置

5 实验结果

6 结论

在这项工作中，我们提出了一种新的方法，用一种新语言向LLM灌输聊天功能。通过持续的预训练和将聊天矢量集成到基于英语的PLM中，该模型获得了指令跟随能力和RLHF般的技能，包括生成安全的响应和多回合对话。与目前涉及CP、SFT和RLHF的方法相比，我们的方法只需要CP和直接的算术运算，大大降低了将模型与人类偏好相一致的成本。
这种直接的方法显示了在不同的