Uncertainty Awareness of Large Language Models Under Code Distribution Shifts: A Benchmark Study

本文是LLM系列文章，针对《Uncertainty Awareness of Large Language Models Under Code
Distribution Shifts

摘要

大型语言模型（LLM）已被广泛应用于编程语言分析，以提高人类生产力。然而，它们的可靠性可能会受到各种代码分布变化的影响，导致输出不一致。虽然已知概率方法可以通过不确定性校准和估计来减轻这种影响，但与它们在基于图像的任务中的应用相比，它们在语言领域的功效仍有待探索。在这项工作中，我们首先介绍了一个大规模的基准数据集，其中包含了三种不同强度的代码分布变化的现实模式。然后，我们使用这些移位的代码片段，深入研究了应用于CodeLlama的最先进的概率方法。我们观察到，这些方法通常提高了CodeLlama的不确定性意识，提高了校准质量和不确定性估计（UE）精度。然而，我们的研究进一步揭示了不同标准的不同表现动态（例如，校准误差与错误分类检测）以及疗效和效率之间的权衡，强调了根据具体情况进行的必要方法选择。

1 引言

2 相关工作

3 数据集配置

4 实验

5 进一步分析

6 结论

LLM在各种代码分布变化下容易出现性能下降。这项研究确定了三种现实世界中对CodeLlama的预测质量产生不利影响的代码分布偏移模式。我们研究了五种前沿的概率方法，重点关注它们在这些变化背景下的校准能力和不确定性估计（UE）功效。我们的研究结果表明，这些方法通常可以减轻分布变化的负面影响，从而提高预测精度和低质量输出检测的更高精度。然而，我们的分析也揭示了由于方法假设的应用场景有限，不