文章主要内容总结
本文聚焦于大型语言模型(LLMs)在分析和改进科学代码中方法名的应用,通过对4个主流LLMs(Google Gemini、Alibaba Qwen 2.5 Coder 32B、Meta LLaMa 3.3 70B、DeepSeek-R1 70B)的评估,探索其在科学代码方法名优化中的有效性。
研究基于从Python环境下的Jupyter Notebooks中提取的496个方法名,围绕两个核心问题展开:
- LLMs能否有效识别和分类方法名的语法模式(如词性标注);
- LLMs提出的方法名改进建议是否符合软件工程最佳实践。
结果显示:
- LLMs在分析语法模式上有一定效果(Gemini准确率最高,达61.1%),但与人类标注的一致性仅为中等,常见误分类包括缩写、复数名词和多义词;
- 在改进建议方面,LLMs倾向于生成以动词开头的方法名(符合命名规范),但会延长方法名,且对领域特定术语(如“PCR”“CSV”)的处理不一致;
- 不同模型表现差异显著(如Gemini更保守,保留65.3%的原名;LLaMA更激进,93%的建议为新名称),且自动化建议需人工评估。
创新点
- 针对性评估LLMs在科学代码领域的应用:填补了传统编程环境外,LLMs在科学代码方法名分析与优化上的研究空白;
- 多维度评估框架:结合语法模式识别(词性标注)、改进建议与最佳实践的对齐度、领域术语处理等维度,系统
订阅专栏 解锁全文
1325



被折叠的 条评论
为什么被折叠?



