
【导语:近日,一篇被ICML 2026接收的论文在Reddit上爆火,该论文仅通过调整提示词就能提升大模型输出多样性,缓解模式坍缩问题,但也引发了网友的两极评价。】

这篇论文提出了一种叫Verbalized Sampling(VS)的方法,仅通过调整提示词,就能显著提升大模型输出的多样性,缓解长期困扰LLM的Mode Collapse(模式坍缩)问题。比如在讲笑话的任务中,修改提示词要求模型生成5个笑话并为每个笑话分配概率值,就能让模型产出更丰富更少重复的回答。

过去学界认为模型模式坍缩问题出在算法层面,而这篇论文认为真正的病根在于偏好数据本身,提出了典型性偏差的概念。人类标注者天生偏爱熟悉、流畅、常规的文本,打分时会给刻板大众化回答更高分,导致即使奖励模型和优化算法完美,模型依然会出现模式坍缩。
作者在五个偏好数据集和不同的基座模型上反复测试,结论一致。于是认为只需在推理阶段设计提示词方案修正,让模型输出完整概率分布,就能唤醒预训练阶段模型原本具备的多元输出分布,找回多样性。实验显示,创意写作任务中多样性是普通提示的1.6~2.1倍,且不降低内容准确性和模型安全水平,模型能力越强、参数量越大,VS带来的多样性提升效果越明显。

在原贴下,这篇论文的评价两极分化。不少网友认为以前ICML都是新模型、新算法、新理论等硬核创新,这篇只做Prompt、推理流程优化不算正经机器学习研究。该方法存在创新单薄的问题,类似写指令方法并非独创,理论不好验证,Prompt换模型可能失效,实验规模有限不足以证明普适规律。
也有网友将机器学习领域当前状况类比心理学界十几年前的学术危机,认为行业存在过度调参、刷分风气,很多创新算法无实际落地价值。但支持者认为,只要假设明确、实验充分、结果稳定可复现,也可以是优秀研究,这篇论文解释模式坍塌并提出典型性偏好观点很重要。

该工作由美国东北大学Weiyan Shi团队联合斯坦福Manning实验室、西弗吉尼亚大学合作完成,Jiayi Zhang、Simon Yu、Derek Chong为并列第一作者。他们在计算机科学、大模型研究等领域都有丰富的学习和研究经历,理论与实操功底扎实。
编辑观点:这篇论文虽方法简单却引发热议,提示词工程走向研究核心是趋势。其对模式坍缩根源的探讨有价值,但成果也需更多验证,未来或有更多此类改变大模型能力的研究出现。
23



被折叠的 条评论
为什么被折叠?



