A Survey on Large Language Models with some Insights on their Capabilities and Limitations

本文是LLM系列文章，针对《A Survey on Large Language Models with some Insights on their Capabilities and Limitations》的翻译。

摘要

人工智能的快速发展，特别是基于transformer架构的大型语言模型（LLM）的发展，重新定义了自然语言处理的能力。这些模型现在在各种与语言相关的任务中表现出卓越的性能，如文本生成、问答、翻译和摘要，通常可以与人类的理解能力相媲美。更有趣的是，LLM已经证明了超越其核心功能的涌现能力，表现出对常识推理、代码生成和算术等任务的熟练程度。
本文探讨了驱动这些功能的基础组件、扩展机制和架构策略。我们强调GPT和LLaMA等模型，分析指数数据和计算增长对LLM性能的影响，同时解决与扩展相关的权衡问题。我们还研究了医疗保健、金融、教育和法律等领域的LLM应用，强调了它们的适应性和解决特定领域挑战的潜力。
这项工作的核心问题是LLM如何在不同的任务、展示计划和推理能力上进行概括，以及这些新兴能力是否可以系统地引出或增强。特别是，我们提供了一些关于LLM中CoT（思维链）和PoT（思维计划）能力的见解，重点关注预训练数据如何影响它们的出现。此外，我们还研究了集成外部系统的LLM模框架，使LLM能够处理复杂的动态任务。通过分析这些因素，