本文探讨如何为非英语语言的大型语言模型（LLM）添加聊天功能，通过‘聊天向量’实现与人类偏好的一致。以LLaMA2为基础模型，进行持续预训练和实验，证明聊天向量能有效提升模型的安全响应、指令跟随及多轮对话能力，并在不同语言和模型中展示其通用性。
本文是LLM系列文章，针对《CHAT VECTOR: A SIMPLE APPROACH TO EQUIP LLMS WITH NEW LANGUAGE CHAT CAPABILITIES》的翻译。
摘要
随着会话式人工智能（如ChatGPT）的发展，本文重点探索为非英语语言开发大型语言模型（LLM），特别强调与人类偏好的一致性。我们引入了一种计算高效的方法，利用“聊天向量”来协同LLM中预先存在的知识和行为，从持续的预训练中重组传统的训练范式→ SFT→ RLHF持续预训练+聊天。我们的实证研究主要集中在繁体中文上，采用LLaMA2作为基础模型，并通过从LLaMA2-chat的权重中减去预训练的权重LLaMA2-来获得chat向量。从毒性、指令跟随的能力和多回合对话三个不同的方面进行评估，证明了聊天载体在“聊天”中的优越功效。为了证实我们方法的适应性，我们将实验扩展到包括用韩语和简体中文预先训练的模型，说明了我们方法的多功能性。总的来说，我们提出了一个重要的解决方案，通过聊天向量，在各种语言中有效地将LLM与人类偏好相一致。
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
