Benchmarking Knowledge Boundary for Large Language Model A Different Perspective on Model Evaluation

本文是LLM系列文章，针对《Benchmarking Knowledge Boundary for Large Language Model: A
Different Perspective on Model Evaluation》的翻译。

摘要

近年来，大型语言模型的开发取得了长足的进步，在各种任务中都取得了显著的性能。为了评估语言模型的知识能力，先前的研究已经提出了许多基于问答对的基准。我们认为，用固定的问题或有限的转述作为查询来评估语言模型是不可靠和不全面的，因为语言模型对提示很敏感。因此，我们引入了一个新的概念，称为知识边界，在语言模型中包含提示不可知知识和提示敏感知识。知识边界避免了语言模型评估中的提示敏感性，使其更加可靠和稳健。为了探索给定模型的知识边界，我们提出了一种具有语义约束的投影梯度下降方法，这是一种新的算法，旨在识别每条知识的最佳提示。实验表明，与现有方法相比，我们的算法在计算知识边界方面具有优越的性能。此外，我们还评估了多个语言模型在具有知识边界的几个领域中的能力。

1 引言

2 前言

3 方法

4 实验

5 LLM评估

<