Reuse or Generate? Accelerating Code Editing via Edit-Oriented Speculative Decoding

文章主要内容总结

本文针对大语言模型（LLMs）在代码编辑任务中存在的自回归生成效率低的问题，提出了一种名为EFFICIENTEDIT的新方法，通过面向编辑的推测解码（speculative decoding）机制提升效率。

核心背景是：代码编辑任务中，修改通常是局部的，大量原始代码片段可重用，但现有方法依赖自回归生成，速度慢；传统推测解码技术未考虑代码编辑的这一特性，加速效果有限。

EFFICIENTEDIT的关键机制包括：

1. 代码重用与编辑位置识别：将原始代码作为高质量草稿，通过目标模型的单次前向传播验证并重用未修改的代码片段，同时利用模型对代码片段的“拒绝”信号定位潜在编辑位置。
2. 高效编辑内容生成：通过面向编辑的草稿模型（经编辑导向微调训练）生成高质量草稿，并结合“熵感知动态验证机制”平衡生成质量与加速效果。

实验结果显示，该方法在CanItEdit和CodeIF-Bench基准测试中，相比标准自回