A Survey of Large Language Models

本文是LLM系列的第一篇文章，针对《A Survey of Large Language Models》的翻译。

摘要

自从20世纪50年代提出图灵测试以来，人类一直在探索通过机器掌握语言智能。语言本质上是一个由语法规则控制的复杂的人类表达系统。开发能够理解和掌握语言的人工智能算法是一个重大挑战。在过去的二十年里，语言建模作为一种主要的语言理解和生成方法得到了广泛的研究，从统计语言模型发展到神经语言模型。最近，通过在大规模语料库上对Transformer模型进行预训练，提出了预训练语言模型（PLM），在解决各种自然语言处理（NLP）任务方面表现出强大的能力。由于研究人员发现模型缩放可以提高模型容量，他们通过将参数缩放增加到更大的尺寸来进一步研究缩放效应。有趣的是，当参数尺度超过一定水平时，这些放大的语言模型不仅实现了显著的性能改进，而且还表现出了一些小规模语言模型（如BERT）中不存在的特殊能力（如上下文学习）。为了区分不同参数尺度下的语言模型，研究界为具有显著规模的PLM（例如，包含数百亿或数千亿个参数）创造了“大型语言模型”（LLM）一词。近年来，学术界和工业界对LLM的研究都取得了很大进展，其中一个显著的进展是ChatGPT（一种基于LLM开发的强大的人工智能聊天机器人）的推出，引起了社会的广泛关注。LLM的技术发展对整个人工智能社区产生了重要影响，这将彻底改变我们开发和使用人工智能算法的方式。考虑到这一快速的技术进步，在本次综述中，我们通过介绍背景、关键发现和主流技术来回顾LLM的最新进展。特别是，我们关注LLM的四个主要方面，即预训练、适应调整、利用和能力评估。此外，我们还总结了开发LLM的可用资源，并讨论了未来方向的剩余问题。这项综述提供了LLM文献的最新综述，这对研究人员和工程师来说都是一个有用的资源。

1 引言

语言是人类表