超级会员免费看
本文探讨大型语言模型（LLM）在编程任务中的可靠性问题，尤其是在代码分布变化时。通过建立大规模基准数据集，研究发现概率方法能提高LLM的不确定性意识，改善校准和UE精度，但不同方法在不同场景下效果各异，提示需要根据具体情况选择合适的方法。
本文是LLM系列文章，针对《Uncertainty Awareness of Large Language Models Under Code
Distribution Shifts
摘要
大型语言模型（LLM）已被广泛应用于编程语言分析，以提高人类生产力。然而，它们的可靠性可能会受到各种代码分布变化的影响，导致输出不一致。虽然已知概率方法可以通过不确定性校准和估计来减轻这种影响，但与它们在基于图像的任务中的应用相比，它们在语言领域的功效仍有待探索。在这项工作中，我们首先介绍了一个大规模的基准数据集，其中包含了三种不同强度的代码分布变化的现实模式。然后，我们使用这些移位的代码片段，深入研究了应用于CodeLlama的最先进的概率方法。我们观察到，这些方法通常提高了CodeLlama的不确定性意识，提高了校准质量和不确定性估计（UE）精度。然而，我们的研究进一步揭示了不同标准的不同表现动态（例如，校准误差与错误分类检测）以及疗效和效率之间的权衡，强调了根据具体情况进行的必要方法选择。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
