论文阅读笔记：Mind’s Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning

文章提出了一种名为多模态相似性保持对比学习（MUSE） 的框架，旨在实现基于EEG的图像分类。

一、MUSE框架

1、核心目标

（1）最大化匹配对（同一图像对应的图像特征与 EEG 特征）的相似度，同时最小化非匹配对的相似度。

（2）在处理一批 EEG - 图像对数据时，确保属于同一批数据的 EEG 样本之间的相似关系得以维持，属于同一批数据的图像样本之间的相似关系也得以维持 。

这两个核心目标使得模型在学习跨模态关系（EEG 与图像之间）的同时，保留模态内部（EEG 内部、图像内部）样本的相似结构。

2、网络架构

（1）EEG编码器：

（2）图像编码器：采用现成的 CLIP-ViT 模型

（3）损失函数：结合了对比损失（InfoNCE）和一种相似性保持（SK）损失，确保模型不仅对齐配对的 EEG 和图像嵌入，还保持批次内的内在关系。

二、实验结果

此外，本文从时空、大脑区域地形-时间和时频三个维度对模型进行了解释。