SeaLLMs - Large Language Models for Southeast Asia

本文是LLM系列文章，针对《SeaLLMs - Large Language Models for Southeast Asia》的翻译。

摘要

尽管大型语言模型（LLM）在各种任务中取得了显著的成就，但仍存在一种语言偏见，这种偏见倾向于高资源语言，如英语，往往以牺牲低资源语言和地区语言为代价。为了解决这种不平衡，我们引入了SeaLLM，这是一系列创新的语言模型，专门关注东南亚（SEA）语言。SeaLLM建立在Llama-2模型的基础上，并通过持续的预训练、扩展的词汇、专业指导和调整来进一步提高，以更好地捕捉地区语言的复杂性。这使他们能够尊重和反映当地的文化规范、习俗、风格偏好和法律考虑。我们的综合评估表明，与可比的开源模型相比，SeaLLM-13b模型在广泛的语言任务和辅助式指令跟随能力方面表现出卓越的性能。此外，它们在非拉丁语言（如泰语、高棉语、老挝语和缅甸语）方面的表现大大优于ChatGPT-3.5，同时保持轻量级和成本效益高。

1 引言

2 预训练

3 监督微调

4 评估

5 结论

总之，随着SeaLLM的创建，我们的研究在发展公平和文化意识的人工智能方面取得了实质性进展，SeaLLM是一套专门的语言模型，与东南亚的语言和文化景观相适应。通过严格的预训练增强和文化定制的微调过程，SeaLLM在语言理解和生成任务方面表现出了非凡的熟练度，挑战了ChatGPT-3.5等主要参与者的表现，尤其是在SEA语言方面。这些模型对当地规范和法律规定的适应——经过人类评估的验证——使SeaLLM不仅成为一项技术突破，而且是一项社会响应型创新，有望在不同语言地