Large Language Model Evaluation via Matrix Entropy

本文是LLM系列文章，针对《Large Language Model Evaluation via Matrix Entropy》的翻译。

摘要

大型语言模型（LLM）已经彻底改变了自然语言处理领域，将其强大的功能扩展到多模态领域。因此，为LLM的评估定义适当和多样化的指标至关重要。
在本文中，我们引入了矩阵熵，这是一种植根于信息论和几何原理的新度量，用于量化LLM中的数据压缩能力。它反映了模型提取相关信息和消除不必要元素的能力，从而深入了解语言模型的内在能力。具体来说，我们展示了它在单模态（语言）和多模态设置中的适用性。对于语言模型，我们的研究结果表明，当模型向上扩展时，表示的矩阵熵遵循比例律类型的约简，这是对传统损失比例律的补充。对于多模态环境，我们还提出了一种基于矩阵熵的评估方法来评估对准质量，我们发现现代大型多模态模型表现出良好的对准性能。我们的代码在https://github.com/waltonfuture/Matrix-Entropy可用。

1 引言

2 相关工作

3 前言

4 方法

5 LLM的实验

6 多模态LLM的实验

7 消融实验

8 结论

我们引入了矩阵熵，这是一种新的内在度量，反映了语言模型压缩”数据中的公共知识的程度