Reasoning Like Experts: Leveraging Multimodal Large Language Models for Drawing-based Psychoanalysis

文章核心总结与翻译

一、主要内容

本文聚焦多模态大型语言模型（MLLMs）在主观情感与心理分析领域的应用空白，针对广泛用于临床心理评估的房-树-人（HTP）测试，提出了一种名为PICK的多步骤推理框架，用于基于绘画的心理分析。

1. 核心问题：现有MLLMs在客观多模态任务中表现出色，但难以解读绘画中的主观心理线索，面临草图与自然图像差异大、视觉元素与心理状态关联复杂、缺乏专业知识支撑、绘画信息存在多层级结构等挑战。
2. 框架设计：
   • 层级化绘画分解：将绘画拆解为单物体、多物体和整体三个层级的子图，分别捕捉物体细节、物体间关系及整体风格。
   • 多层面分析：单物体层级通过专业特征提取模块（结合HTP知识库和强化学习）生成动态物体特征，结合固定通用特征构建心理画像；多物体层级分析物体空间关系与交互；整体层级关注全局风格特征（如阴影、笔触）。
   • 多信息融合：通过加权平均整合三个层级的分析结果，输出心理状态（正负向）预测。
3. 实验验证：在两个HTP数据集（HTP_College、HTP_Child）和两个情感数据集（ArtPhoto、Emotion6）上进行实验，PICK在心理障碍诊断的F1分数上比基础模型平均提升10%以上，且在情感理解任务中表现出良好的通用性。

二、创新点

1. 提出首个零样本绘画心理分析框架PICK，通过层级化分解