NLP论文速读（剑桥大学出品）|分解和利用专家模型中的偏好进行改进视觉模型的可信度

论文速读|Decompose and Leverage Preferences from Expert Models for Improving Trustworthiness of MLLMs

论文信息：

简介：

      本文探讨的背景是多模态大型语言模型（MLLMs），这类模型通过结合视觉特征和文本空间来增强语言模型的能力。尽管MLLMs在视觉-语言任务中取得了显著的性能，但它们往往表现出过度自信，并可能提供与图像内容不一致的问题性回应。为了提高MLLMs的可信度，对齐人类偏好是一个有效的方法，但获取人类偏好标注既昂贵又费力。因此，近期的工作采用评估模型来自动构建偏好数据集，以评估MLLMs的回应。然而，MLLMs的回应通常较长且复杂，需要多样化的推理技能，单一评估模型可能无法完全具备这些技能。本文动机在于现有的评估模型（Eval-M）在评估MLLMs的回应时存在局限性，特别是在处理MLLMs的长且组合性的回应时。此外，现有的方法主要依赖于封闭源评估模型，这不仅