fNIRS标准空间-续上篇

在上篇的结尾我说“其实我还有很多地方不是特别明白”,秉持着做学问应当有深究到底的精神,我昨晚通过查各种资料、问GPT等方式,基本上解决了我的困惑。虽然我知道,这只是一个很小的知识,把它理解地很透彻对我即时能力的提升帮助不是很大,但是我相信,正是这些一个又一个小知识的掌握,让小白成为更优秀的小白。

我不明白的第一个点在于:MNI标准模板到底是什么,它是怎么得到的?

解答:MNI标准模板本质上就是一个标准的MRI像。MNI的建立过程大致可以理解为:研究者先采集了一批健康被试(假设有n个)的MRI像,然后以一个MRI像为基准,把剩下的n-1个MRI像都通过放大、缩小、拉伸等操作放到基准MRI像上,然后把这n个MRI像做平均,就得到了MNI标准模板。(GPT说MNI模板长这个样子,仅供参考吧:

那么问题又来了,以哪个MRI像为基准呢?

解答:在最初的MNI标准模板建立之前,有研究者用一位60岁女性的脑解剖结构建立了第一个3D大脑模板,名字叫做Talairach模板,这个模板和MNI模板类似,也是由X Y Z三个维度组成,但是参考框架和坐标点有所不同。第一个MNI标准模板在建立的过程中,使用的基准就是Talairach模板。之后再建立新的MNI标准模板的时候,就是以第一个MNI标准模板为基准了~

最后一个问题,收到了fNIRS数据,到底怎么把fNIRS的空间标准化(又可以叫做映射)到标准MNI空间中?

这其实就是上篇文章所说的”概率配准方法“,这个方法的大致过程我理解,不理解的点在于,为什么要在空间标准化之前先收集n个被试的MRI像(每个MRI像中都标记了5个颅骨参考点以及10-20参考系统参考点,这些MRI像被标准到MNI空间),然后把这n个被试的MRI像配准到标准的MNI空间,然后再测量要做空间标准化的被试(假设有m个)的光极、测量通道的三维坐标,将其分别映射到n个被试的MRI像中……

目前我对这个问题的理解是(问了我做近红外的师姐):首先,我们有感兴趣的脑区,然后利用光极去测感兴趣脑区的血液动力学活动,那么我们怎么知道我们的光极放对了位置呢,也就是说,我们怎么知道光极的位置确实是属于感兴趣脑区的呢?所以在正式实验之前,我们需要先做好帽子,然后把帽子戴到被试头上,去扫被试的MRI结构像,看一看光极和测量通道所在的MNI坐标,看看它是不是在感兴趣的脑区。其次呢,

MNI标准空间模板里没有标注10-20参考系统的参考点,我们没有参考点可以将m个被试的脑解剖映射到MNI标准空间中,所以,先收集n个被试的MRI像(并且每个MRI像中都标记了5个颅骨参考点和10-20参考系统参考点)应该是起到了个中介、桥梁作用,将m个被试和MNI标准模板联系起来。

此时我们再来回顾一下“概率配准方法”:

①收集n个健康被试的MRI像,在MRI像中标记出5个颅骨参考点和10-20参考系统参考点,然后将n个MRI像配准(其实就是放大、缩小、拉伸等操作)到标准MNI模板中。

②对于m个被试,每个被试都测量其5个颅骨参考点、21个10-20参考系统参考点的三维坐标,将分别映射到n个已经配准到标准MNI模板的MRI像中,达成“将被试的fNIRS帽子虚拟地放置在n个被试头上”的效果。最终的结果就是,每个被试的5+21=26个参考点分别得到了n个MNI坐标,分别将26个参考点的n个MNI坐标平均,就可以得到每个被试每个参考点的MNI坐标。

但是这个方法有点繁琐,m个被试,每个被试都用三维定位仪定位26个参考点的三维坐标,工作量太大了。所以在正式实施的过程中,研究者可能会对此过程进行简化:①收几个典型被试的MRI像,看做好的帽子的光极对应的MNI坐标在不在感兴趣脑区,以及两个被试的MNI坐标差别大不大,如果不在或者差别较大,就接着调,调好之后再进行下一步骤;②收集m个被试的fNIRS数据,不再对每个被试测26个参考点的三维坐标,直接假设m个被试的fNIRS帽子虚拟地戴在典型被试头上,也就是,m个被试的头和典型被试的头长得一模一样,m个被试的MNI坐标和典型被试的MNI坐标也完全一样。最后报告的时候,报告的MNI坐标就是典型被试的MNI坐标。

### Unified Representation Learning for EEG to fNIRS Cross-Modal Generation in Motor Imagery Brain-Computer Interfaces (MI-BCIs) 在脑机接口(Brain-Computer Interfaces, BCIs)领域,多模态数据的融合与生成技术正成为研究热点。尤其是在运动想象(Motor Imagery, MI)任务中,通过统一表征学习(Unified Representation Learning)实现脑电信号(EEG)与功能性近红外光谱成像(fNIRS)之间的跨模态生成,有助于提升系统的鲁棒性与泛化能力。 #### 背景与意义 EEG 和 fNIRS 是两种常见的非侵入式脑信号采集技术。EEG 具有高时间分辨率但空间分辨率较低,而 fNIRS 拥有较高的空间分辨率但时间响应较慢。在 MI-BCIs 中,EEG 主要捕捉大脑的瞬时电活动,而 fNIRS 反映的是局部脑区的血氧变化。将两者结合能够互补优势,提高对用户意图的识别精度[^3]。 #### 统一表征学习框架 统一表征学习旨在从不同模态的数据中提取共享的潜在特征空间,从而实现跨模态的理解与生成。在 EEG-to-fNIRS 生成任务中,模型需要学习如何将 EEG 特征映射到 fNIRS 的特征空间,或者反之。该过程通常依赖于对比学习(Contrastive Learning)与跨模态注意力机制,以捕捉模态间的语义一致性[^2]。 例如,CATD 模型提出了一种统一表征学习方法,通过跨模态生成网络将 EEG 信号转化为 fNIRS 数据,从而在缺乏某种模态数据的情况下仍能进行有效分析。 #### 模型架构设计 在架构层面,可以借鉴 LXMERT 中的跨模态 Transformer 设计,构建一个包含三个编码器的结构: 1. **EEG 编码器**:使用卷积神经网络(CNN)或 Transformer 提取 EEG 的时频特征。 2. **fNIRS 编码器**:采用类似结构处理 fNIRS 数据,提取其空间与时间特征。 3. **跨模态融合编码器**:通过自注意力与交叉注意力机制,实现 EEG 与 fNIRS 的特征交互,并生成统一的隐空间表示。 在此基础上,可以引入以下预训练任务: - **模态内预测**:如 EEG 的时序建模与 fNIRS空间重构。 - **跨模态匹配**:判断给定的 EEG-fNIRS 对是否来自同一任务。 - **跨模态生成**:基于 EEG 生成对应的 fNIRS 信号,或基于 fNIRS 重构 EEG 波形。 #### 数据与训练策略 预训练阶段通常需要大规模的同步 EEG-fNIRS 数据集。例如,可以使用公开的 MI 数据集,如 BCI Competition IV 中的数据,结合 fNIRS 同步采集设备进行采集。训练过程中采用对比学习策略,增强模型对模态间差异的鲁棒性[^2]。 #### 挑战与未来方向 尽管统一表征学习在 EEG-to-fNIRS 生成中展现出潜力,但仍面临以下挑战: - **模态差异大**:EEG 与 fNIRS 的物理机制不同,特征空间差异显著,需设计更有效的对齐机制。 - **数据稀缺**:高质量的同步多模态数据获取困难,可能限制模型性能。 - **实时性要求**:在实际 BCI 应用中,模型需具备低延迟推理能力。 未来的研究方向包括引入自监督学习策略、设计轻量化模型结构以及探索更高效的跨模态对齐机制。 #### 示例代码:跨模态注意力模块(Cross-Attention Module) 以下是一个简化的跨模态注意力模块实现,用于融合 EEG 与 fNIRS 的特征表示: ```python import torch import torch.nn as nn class CrossAttention(nn.Module): def __init__(self, embed_dim, num_heads): super(CrossAttention, self).__init__() self.attn = nn.MultiheadAttention(embed_dim, num_heads) def forward(self, query, key, value): # query: [seq_len, batch_size, embed_dim] # key, value: [seq_len, batch_size, embed_dim] attn_output, _ = self.attn(query, key, value) return attn_output # 示例使用 eeg_features = torch.randn(10, 32, 64) # [seq_len, batch_size, embed_dim] fnirs_features = torch.randn(10, 32, 64) cross_attn = CrossAttention(embed_dim=64, num_heads=8) output = cross_attn(eeg_features, fnirs_features, fnirs_features) print(output.shape) # 输出:torch.Size([10, 32, 64]) ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值