From Scores to Skills: A Cognitive Diagnosis Framework for Evaluating Financial Large Language Model

论文《From Scores to Skills: A Cognitive Diagnosis Framework for Evaluating Financial Large Language Models》总结与翻译

一、主要内容总结

1. 研究背景与现有问题

• 金融大语言模型（LLMs）应用现状：LLMs在金融领域应用潜力显著，但因现有基准测试存在缺陷，其在高风险金融场景的适用性未得到充分验证。
• 现有基准测试的两大核心问题：
  • 分数扁平化：仅用单一聚合分数总结模型性能，掩盖模型真实知识掌握情况与精准局限性。例如在FinQA数据集上，通用模型GPT-4o与金融专用模型FinMA整体准确率相近，但前者擅长“现金净变化计算”等数值任务，后者更精通“所有者权益识别”等金融概念任务，单一分数无法体现这种差异。
  • 覆盖不均衡：现有数据集仅涵盖金融概念的窄子集，忽略现实应用关键领域。如FinEval的会计类问题集中于“总收入”“净利润”，忽视“权益变动”“税务相关组件”等重要内容。

2. 核心解决方