Towards Synthesizing Normative Data for Cognitive Assessments Using Generative Multimodal Large L...

论文总结与翻译

一、文章主要内容

该研究聚焦认知评估中标准化数据稀缺的问题，探索利用生成式多模态大型语言模型（MLLMs）合成标准化数据的可行性，具体内容如下：

1. 研究背景：认知评估需标准化数据作为评估个体表现的基准，但传统数据收集成本高、耗时长且更新慢，难以满足新型基于图像刺激的认知测试需求。而生成式多模态大模型为合成标准化数据提供了新途径，但需解决偏倚、误差传播等伦理问题。
2. 研究方法：
   • 数据与模型：选取Pitt语料库中真实参与者的人口统计学和认知元数据（如年龄、性别、MMSE评分、认知诊断结果），使用GPT-4o和GPT-4o-mini两种多模态大模型。
   • 提示策略：设计两种提示策略，朴素提示仅含基础人口统计学和筛查信息，高级提示嵌入筛查流程、时间限制、认知特征和任务特定说明。
   • 评估方式：采用BLEU、ROUGE、BERTScore等标准NLP指标，结合向量嵌入技术（如Sentence-BERT）进行聚类和语义相似性分析，还引入LLM-as-a-Judge方法，同时训练诊断分类器评估模型区分诊断组的能力，并进行词频分析。
3. 研究结果：
   • 提示策略效果：高级提示策略生成的合成响应在区分诊断组和捕捉人口多样性方面优于朴素提示，且生成的响应更贴