Unveiling Trust in Multimodal Large Language Models: Evaluation, Analysis, and Mitigation

《Unveiling Trust in Multimodal Large Language Models: Evaluation, Analysis, and Mitigation》总结与翻译

一、文章主要内容

本文聚焦多模态大型语言模型（MLLMs）的可信度问题，针对现有评估与缓解方法存在的局限性，提出了全面的基准测试体系MultiTrust-X，旨在系统解决MLLMs在可信度方面的挑战，具体内容如下：

（一）MLLMs可信度的核心问题

MLLMs虽在视觉-语言融合理解上取得显著进展，广泛应用于各类场景，但在可信度上存在重大隐患，如幻觉（生成虚假信息）、对抗脆弱性（易受恶意输入攻击）、隐私泄露（泄露个人敏感信息）、偏见行为（输出带有歧视性内容）等。现有评估方法多聚焦单一维度（如仅评估幻觉或对抗鲁棒性），且忽略了多模态特性引入的独特风险；缓解方法也局限于特定问题，缺乏对整体可信度的提升，甚至可能导致模型实用性下降。

（二）MultiTrust-X基准测试体系设计

1. 三维框架构建
   • 可信度维度：从文献中提炼出5个核心方面，分别是真实性（信息准确性）、鲁棒性（应对输入扰动的稳定性）、安全性（避免有害内容生成）、公平性（无偏见输出）、隐私性