文章核心总结与创新点
主要内容
本文聚焦大型语言模型(LLMs)在排序偏好推理和组合算法执行中的能力,以匹配市场(如资源分配、拼车平台等场景的核心框架)为测试基准,设计了四类任务(生成稳定匹配、解决不稳定性、检测不稳定性、偏好推理),对7个主流LLM(含基础模型、推理模型、高级推理模型)进行多难度(简单n=10、中等n=20、困难n=50)和多偏好分布(公平文化IC、主列表ML)的评估。研究发现,即使是顶级推理模型,在处理大规模输入时也难以完成稳定匹配相关任务,易出现阻塞对识别错误、算法执行中断等问题;LoRA微调能显著提升模型在中小规模实例上的表现,但对大规模实例无效。
创新点
- 首次构建了基于匹配市场的排序偏好推理基准,涵盖四类任务和多维度评估指标(不稳定性率、最优性率等),系统量化LLMs的组合推理缺陷。
- 揭示了LLMs在偏好推理中的关键局限:小规模场景下的推理误差会在多步骤任务中累积,大规模输入处理能力不足,且微调无法解决该核心问题。
- 验证了LoRA微调结合合成推理轨迹对提升中小规模偏好推理任务性能的有效性,为LLMs在经济、社交等偏好敏感场景的应用提供了优化方向。
翻译部分(Markdown格式)
Abstract
大型语言模型(LLMs)的兴起推动了推理任务的进步,从程序合成到科学假设生成均有涉猎,但它们在组合领域处理排序偏好和结构化算法的能力仍未得到充分探索。本文研
订阅专栏 解锁全文
4540



被折叠的 条评论
为什么被折叠?



