文章核心总结与翻译
一、主要内容
- 研究背景:尽管语言模型(LMs)在代码生成能力上取得显著进步,但在平衡括号生成等基础句法任务中仍频繁出错,即使是GPT-4、Phi-3等先进模型也存在该问题。这些简单任务的失败与模型在复杂编码基准上的良好表现形成鲜明对比,引发了对模型内部计算机制的探究需求。
- 核心发现:
- 语言模型依赖多个组件(注意力头和前馈神经网络神经元)进行预测,这些组件的泛化性和可靠性差异显著。
- 部分组件(“可靠组件”)能在广泛输入范围内稳定预测正确结果(实现“合理机制”),但更多组件(“不可靠组件”)仅在窄输入范围内有效,且会引入噪声(实现“缺陷机制”)。
- 模型出错的本质并非缺乏合理机制,而是缺陷机制的噪声影响盖过了合理机制的作用。
- 方法提出:设计RASTEER方法,通过以下两步提升模型性能:
- 排序(Rank):基于组件在任务中的可靠性(泛化性、召回率、精确率、F1分数)对组件排序。
- 引导(Steer):通过缩放可靠组件的激活值,增强其对最终预测的贡献,抑制缺陷机制的干扰。
- 实验结果:
- 在平衡括号任务中,将部分模型的准确率从0%提升至近100%,且不损害模型的通用代码生成能力(在HumanEval基准上甚至有小幅提升)。
订阅专栏 解锁全文
1332



被折叠的 条评论
为什么被折叠?



