文章核心总结与创新点
主要内容
本文针对大型语言模型(LLMs)在遵循明确长度指令时存在的短板(如输出过短、过早终止或拒绝请求),提出了首个全面的长度指令遵循评估基准LIFEBENCH。该基准包含10,800个实例,覆盖问答、摘要、推理、创意生成四大任务类别,支持中英双语,长度约束范围从16到8192词,并通过长度偏差(LD)和长度分数(LS)两个指标量化模型表现。对26个主流LLM的评估发现:多数模型能较好遵循短长度指令,但超过特定阈值后性能急剧下降;几乎所有模型实际输出长度均未达到厂商宣称的最大长度;推理类模型在长度指令遵循上表现优于专门的长文本生成模型;输入特性(任务类型、语言、输入长度)对模型表现有显著影响。
创新点
- 提出首个全范围长度指令评估基准LIFEBENCH,涵盖多样化任务、双语数据和宽范围长度约束,填补现有基准忽视长度约束评估的空白。
- 设计了Length Deviation和Length Score两个分析性评估指标,分别捕捉偏差方向与幅度、实现稳健聚合,相比单纯词数匹配更具科学性。
- 系统揭示了LLMs长度指令遵循的核心瓶颈:长度感知缺陷、输入长度敏感性、惰性生成策略(过早终止、拒绝请求),且长上下文模型并未提升长度指令遵循能力。
- 发现推理类模型通过中间步骤校准输出长度,在长度指令遵循上达到当前最佳水平,为模型优化提供新方向。
订阅专栏 解锁全文
1325



被折叠的 条评论
为什么被折叠?



