LUNA: A Model-Based Universal Analysis Framework for Large Language Models

本文是LLM系列文章，针对《LUNA: A Model-Based Universal Analysis Framework for Large Language Models》的翻译。

摘要

在过去的十年里，人工智能（AI）最近取得了巨大的成功，并被广泛应用于学术和工业领域。最近，大型语言模型（LLM）取得了快速进步，将人工智能推向了一个新的水平，使更多样化的应用程序和工业领域能够实现智能，并赋予其权力，特别是在软件工程和自然语言处理等领域。尽管如此，LLM中出现的一些新的可信度问题和问题，如稳健性和幻觉，最近已经受到了广泛关注，如果不妥善解决这些问题，LLM的广泛采用在实践中可能会受到极大阻碍。LLM的独特特征，如自注意机制、超大神经网络规模和自回归生成使用上下文，不同于基于卷积神经网络和递归神经网络的经典人工智能软件，并对质量分析提出了新的挑战。到目前为止，尽管各个领域的工业需求迫切，但它仍然缺乏通用和系统的LLM分析技术。为了弥补这一差距，在本文中，我们启动了一项早期的探索性研究，并提出了一个通用的LLM分析框架，该框架设计为通用和可扩展的，能够以人类可解释的方式从多个质量角度对LLM进行多用途分析。特别是，我们首先从期望的可信度角度利用数据来构建一个抽象模型，作为辅助分析资产和代理，并通过各种抽象模型构建方法来增强其能力。为了评估抽象模型的质量，我们收集并定义了许多评估指标，针对抽象模型级别和语义级别。然后，语义，即LLM对可信度视角的满意度，与抽象模型绑定，并用语义丰富了抽象模型，这使得能够为各种目的进行更详细的分析应用，例如异常行为检测。
为了更好地理解我们的分析框架的潜在有用性，我们进行了大规模评估，结果表明：1）抽象模型有可能区分LLM中的正常和异常行为，2）我们的框架在实践中对LLM的真实世界分析是有效的，超参数设置会影响性能，3）不同的评价指标与分析性能具有不同的相关性。为了促进对LLM质量保证的进一步研究，我们已经提供了我们所有的代码和详细的实验结果