xVerify: Efficient Answer Verifier for Reasoning Model Evaluations

主要内容

1. 研究背景：随着推理模型发展，其输出包含复杂推理过程，现有评估方法难以提取最终答案并判断与参考答案的等价性，自动评估方法中基于规则和基于大语言模型（LLM）的方法都存在局限性。
2. 问题定义：将评估LLM对客观问题回答正确性的任务形式化为4元组，包括问题集、响应集、参考答案集和评估函数，定义了提取最终答案的评分和提取函数，以及不同模态答案的等价比较函数。
3. 方法：构建了VAR数据集，收集19个LLM在24个推理基准上的问答对，经过多轮GPT-4o和人工标注及数据增强。使用该数据集训练不同规模的xVerify模型，采用QLoRA技术，设置特定超参数。
4. 实验：在VAR数据集的测试集和泛化集上评估xVerify模型，以准确率和F1值为指标，与多种评估框架和判断模型对比。结果表明xVerify模型性能优异，最小的xVerify-0.5B-I模型也优于多数方法，且xVerify模型在泛化集上性能下降少，计算效率和使用成本也更具优势。

创新点

1. 构建VAR数据集：包含19个LLM在24个评估基准上的答案样本，经过多轮标注，用于训练和评估推理任务的判断模型。
2. 提出xVerify：一种高效的推理模型评估答案验证器，能处理复杂推理痕迹，支持多种等价检查，对格式错误有容忍性，发布了多个微调版本。
3. 全面评估