CFBenchmark-MM: Chinese Financial Assistant Benchmark for Multimodal Large Language Model

文章主要内容总结

本文介绍了CFBenchmark-MM——一个面向多模态大语言模型（MLLMs）的中文金融基准。该基准包含超过9,000个图像-问题对，涵盖表格、柱状图、折线图、饼图和结构图等多种图表类型，旨在评估MLLMs处理金融领域多模态信息的能力。

论文的核心工作包括：

1. 基准构建：通过三步标注流程（从金融研究报告收集图表及分析、利用GPT-4生成问题和答案、人工验证）构建了包含5类任务（算术推理、统计推理、结构推理、金融解释、金融知识）的数据集。
2. 分阶段评估系统：设计了四组评估设置（仅问题、问题+图像、问题+图表文本描述、问题+图像+图表文本描述），逐步测试MLLMs整合多模态信息的能力。
3. 实验与分析：在13个主流MLLMs上的实验显示，尽管模型具备基础金融知识，但处理多模态金融信息的效率和稳健性有限（如GPT-4V的客观题准确率仅52%，主观题得分38%）。主要问题包括视觉内容误读和金融概念理解不足，凸显了MLLMs在金融领域优化的必要性。

创新点

1. 首个全面的中文多模态金融基准：CFBenchmark-MM涵盖多种图表类型和任务，填补了现有金融基准在多模态评估上的空白。
2. 分阶段评估框架：通过逐步引入视觉内容和文本描述，量化MLLMs对多模态信息的依赖和整合能力，为模型优化提供细粒度参考。