Do Machines and Humans Focus on Similar Code? Exploring Explainability of Large Language Models-优快云博客

本文是LLM系列文章，针对《Do Machines and Humans Focus on Similar Code? Exploring
Explainability of Large Language Models in Code Summarization》的翻译。

机器和人类关注相似的代码吗？代码摘要中大型语言模型的可解释性探讨

摘要
1 引言
2 背景和相关工作
3 实验设计
4 结果
5 结论

摘要

最近的语言模型已经证明了在总结源代码方面的熟练程度。然而，与机器学习的许多其他领域一样，代码的语言模型缺乏足够的可解释性。非正式地说，我们对模型从代码中学习什么以及如何学习缺乏公式化或直观的理解。如果当模型学习生成更高质量的代码摘要时，它们也一致认为与人类程序员识别的代码部分相同的代码部分很重要，那么语言模型的可解释性就可以部分提供。在本文中，我们报告了从人类理解的角度研究代码摘要中语言模型的可解释性的负面结果。我们在代码摘要任务中使用眼动追踪指标（如注视次数和持续时间）来测量人类对代码的关注。为了接近语言模型的焦点，我们使用了一种最先进的模型不可知、黑匣子、基于扰动的方法SHAP（SHapley Additive exPlanations）来识别哪些代码标记会影响摘要的生成。使用这些设置，我们发现语言模型的注意力和人类程序员的注意力之间没有统计学上的显著关系。此外，在这种情况下，模型和人类焦点之间的一致性似乎并不能决定LLM生成的摘要的质量。我们的研究强调了无法将人类焦点与基于SHAP的模型焦点测量相一致。这一结果要求未来研究用于代码摘要和软件工程任务的可解释语言模型的多个开放问题，包括代码的语言模型的训练机制，人类和模型对代码的注意力之间是否一致，人类的注意力是否可以促进语言模型的发展，以及其他哪些以模型为中心的措施适合提高可解释性。