
编码模型改动过度
AI 辅助编码已成为常态,借助 Cursor、GitHub Copilot、Claude Code、Codex 等工具,人们越来越多地让模型来处理代码。然而,使用这些工具时可能会遇到“过度编辑”问题,即模型倾向于重写那些无需重写的代码。这个问题的影响比看起来更严重,会让代码审查工作变得异常困难。
过度编辑
过度编辑指的是模型对代码的修改超出了修复当前问题的必要程度。图 1 中的示例很好地说明了这一点,GPT - 5.4(高推理强度)重写了整个函数,而正确的修复只需修改一行代码。从工作类型的角度来看,在棕地开发中,模型的任务应该只是修复问题,而不是做其他多余的改动。过度编辑会让审查工作变得更困难,整体代码库质量也有悄悄下降的风险。
衡量过度编辑
为了研究过度编辑问题,需要一个代码编辑数据集,对 [BigCodeBench] 中的 400 个问题进行编程式损坏,确保真实编辑就是对损坏的逆转,从而可以评估模型是否修复了错误,以及在修复过程中还做了多少其他改动。
指标
大多数编码基准测试使用 Pass@1 的某种变体来评估模型的正确性,但这不是充分条件。在这个实验中,需要能够衡量模型超出必要改动程度的指标,如基于令牌级别的 Levenshtein 距离和新增认知复杂度。
模型会过度编辑吗?
是的,即使是前沿模型也会。在最新的前沿模型中,GPT - 5.4 过度编辑的情况最为严重,而 Claude Opus 4.6 在评估的所有模型中取得了最高的 Pass@1 得分,同时产生的改动最小。
提示是否有帮助?
研究了在提示中添加“重要提示:尽量保留原始代码和原始代码的逻辑”所产生的影响。在明确提示下,每个模型都有所改进,Levenshtein 距离减小,除了 DeepSeek R1/v3 之外,Pass@1 得分也有所提高。
推理是否意味着过度思考和过度编辑?
通常认为推理模型在编码任务上表现更好,但从编辑风格的角度来看,大多数推理模型的默认行为是过度编辑。不过,同样的推理能力也使它们在收到约束时能更好地遵循。
训练
接下来的问题是能否训练模型成为更可靠的编辑器。以 [Qwen3 4B 2507 Instruct] 为基础模型,使用零样本和 8 样本提示,并明确指示保留原始代码作为基线。
设置
使用从 [DeepCoder] 创建的损坏问题的合成数据集,以及基础模型 Qwen3 4B 2507 Instruct 通过自蒸馏创建的合成数据集。评估了 4 种不同的方法:SFT、rSFT、DPO、RL。
训练是否有效?
表格展示了不同模型的 Pass@1、归一化 Levenshtein 距离和新增认知复杂度等指标,但文档中表格未完整给出。



被折叠的 条评论
为什么被折叠?



