论文笔记：利用知识蒸馏和潜在扩散模型解码脑电图的视觉脑表征

这是2024.8月发表在Computers in biology and medicine的一篇论文。这篇论文提出了一种创新方法，利用知识蒸馏训练 EEG 分类器，结合预训练的潜在扩散模型从 EEG 数据中重建图像。

 代码链接https://github.com/matteoferrante/EEG_decoding

这篇文章的作者来自意大利罗马第二大学和美国哈佛大学医学院，他们主要做医学成像、神经影像方面的研究。

一、研究背景及目的

EEG 在解码大脑视觉表征方面具有重要价值，但当前研究多关注多主体模型，且基于 EEG 信号重建视觉刺激存在挑战。本研究旨在改进现有方法，实现从 EEG 模式中翻译感知体验的实时应用。已有研究利用深度学习模型从 EEG 信号解码视觉表征，但存在不足。本文提出的方法与之不同，使用基于 CLIP 的知识蒸馏训练卷积神经网络，结合生成扩散合成，直接从 EEG 脑信号重建详细逼真的视觉刺激。

注：CLIP 即 Contrastive Language-Image Pre-Training，是一种对比语言 - 图像预训练的神经网络架构。它通过对比学习的方式，训练图像编码器和文本编码器，使二者能够将图像和文本映射到一个共同的嵌入空间中。在这个空间里，语义一致的图像和文本在距离上更为接近，从而让模型学会关联图像和文本信息。

二、实验

1、数据预处理

使用 ImageNet EEG 和 THINGSEE - G2 两个公开数据集。前者来自 6 名参与者观看 40 个 ImageNet 类别的 2000 张图片的 EEG 记录，采