文章主要内容总结
本文聚焦大型语言模型(LLMs)在面对微小提示编辑时的鲁棒性,旨在区分模型“好的敏感性”(对良性噪声不敏感)与“坏的敏感性”(对语义关键变化不敏感)。研究通过以下方式展开:
- 实验设计:选取50个LeetCode编程问题,设计三种扰动方案:
- 渐进式欠指定:每次删除10%的tokens(模拟可忽略的良性噪声);
- 词汇翻转:交换关键量词(如max↔min,模拟必须响应的语义变化);
- 术语膨胀:将常见名词替换为晦涩技术术语(模拟重要性模糊的变化)。
- 模型测试:测试6个前沿模型(含3个“推理优化”变体),通过执行模型生成的Python代码,判断其是否适应扰动或回归基线解决方案。
- 核心发现:
- 双重不对称性:模型对应当失败的噪声(如90%tokens删除)过于鲁棒(85%通过率),对应当适应的语义变化(如量词翻转)不敏感(仅54%响应);
- 标识符锚定效应:函数名等描述性标识符是关键锚点,遮蔽后显著降低模型对噪声的“虚假鲁棒性”,但也促使其更易适应语义变化;
- 推理优化模型表现:未改善敏感性,反而在术语膨胀任务中回归基线的比例更高,对微妙变化更不敏感。
- 结论建议:当前LLMs混淆了噪声与语义变化,需设计评估和训练协议,奖励“对良性噪声稳定、对语义变化适应(或拒绝)”的差异化敏感性。
订阅专栏 解锁全文
1302



被折叠的 条评论
为什么被折叠?



