Benchmarking Multimodal Large Language Models for Face Recognition

文章主要内容与创新点总结

一、主要内容

1. 研究背景：多模态大型语言模型（MLLMs）在视觉-语言任务中表现出色，但在人脸识别领域的潜力尚未充分挖掘，尤其是开源MLLMs与现有专用人脸识别模型的性能对比缺乏基于标准基准和统一协议的系统评估。
2. 研究目标：构建一套符合传统人脸识别评估协议的基准，系统测试开源MLLMs在人脸识别任务上的性能，明确其与专用模型的差距。
3. 实验设计：
   • 任务设置：采用“两张人脸图像是否为同一人”的二分类验证任务，通过标准化提示词引导模型输出“是/否”结果。
   • 数据集：涵盖6个标准人脸识别数据集（LFW、CALFW、CPLFW、CFP、AgeDB30、RFW），每个数据集包含6000对图像（3000正例、3000负例），覆盖姿态、年龄、种族等多维度变化。
   • 对比模型：测试20余种开源MLLMs（如LLaVA系列、Qwen2-VL系列、InternVL3等），并以IResNet-50（基于HyperFace和MS1MV2训练）作为专用人脸识别模型基准。
4. 核心结果：
   • MLLMs虽能捕捉人脸相关语义信息，但在高精度零样本人脸识别场景中显著落后于专用模型（如顶级MLLM Qwen2-VL-7B-Instruct平均准确率81.10%，而IResNet-50(MS1MV2)达97.31%）。
   • 模型规模扩大可