“多模态”概念深度解读之EEG-fNIRS同步

最新推荐文章于 2025-10-27 11:52:10 发布
原创 最新推荐文章于 2025-10-27 11:52:10 发布 · 2.2k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#多模态

本文深入探讨了多模态研究中的EEG-fNIRS同步技术，通过一个实验案例展示其在感觉通道分类中的高效性。研究表明，结合EEG和fNIRS数据可以提高分类准确率，证明了多模态数据采集手段的价值。此外，还介绍了EEG-fNIRS同步检测的优势，如时间与空间分辨率互补、鲁棒性强、适用于多种场景，并讨论了其在脑机接口、脑功能状态监测、情感识别和人因工程等领域的应用。

“多模态”概念深度解读之EEG-fNIRS同步

关注“心仪脑”查看更多脑科学知识的分

关键词：多模态、脑机接口、EEG-fNIRS

在之前的推文中，我们已经对实现多模态研究的方法做了介绍（详情参照：认知神经科学中实现多模态研究的几种方法http://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzUxMTg2MTU5OA%3D%3D%26mid%3D2247494615%26idx%3D1%26sn%3D74dc8a76ae8a3e0ab598f0463a467d8b%26chksm%3Df96f9de6ce1814f05077695c9576cf00af856f08a7dd698da93e46c2c4cf20375c976315ac38%26scene%3D21%23wechat_redirect）。在了解了基本原理的基础上，接下来可以向前再迈进一步——参考先行研究中如何使用该方法实现具体的研究目的。

先来复习一下模态的概念。模态一词在不同语境下有不同含义：当以人为主体时，模态可以指代感觉通道（视觉、听觉……）；而当以计算机为主体时，模态又可以代表信息获取方式。

在本篇推文中我们采取的首要切

最低0.47元/天 解锁文章
多模态EEG+fNIRS测量心理负荷
cc1609130201的博客
03-24 4470
本文研究了多模态功能性神经成像技术用于量化心理负荷(mental workload, MWL)的效果。我们使用脑电图(EEG)和功能性近红外光谱成像(fNIRS)，招募17名健康受试者参与字母n-back任务，MWL水平设置0到3的四种难度。研究使用19个EEG通道覆盖全头，19个fNIRS通道覆盖前额(WM（工作记忆）最主要涉及的脑区)。多模态数据的block均值揭示了MWL水平变化期间氧合血红蛋白浓度的特别变化。已有研究使用机器学习来检测MWL水平，我们从EEG、fNIRS和EEG+fNIRS多模态信号
EEG-fNIRS跨模态迁移学习优化BCI系统分类精度
脑机接口社区
06-26 1504
基于功能近红外光谱（fNIRS）的脑机接口（BCI）在情感识别方面的巨大应用潜力，该模式受到越来越多的关注。然而，由于特征提取算法的相对不足，限制了其在实践中的应用。最近，科学家提出一种基于正则化空间模式（RSCP）的R-CSP-E方法，即在计算基于转移学习和集合学习理论的fNIRS信号特征时引入EEG信号，使用独立分量分析（ICA）来实现两个信号源之间的对应，然后在改进...
DeepSeek-OCR多模态OCR教程（超详细）从技术原理到应用落地，一篇就够了，建议收藏！
最新发布
2401_85373898的博客
10-27 1680
DeepSeek-OCR是深度求索推出的多模态OCR模型，采用上下文光学压缩技术，通过端到端视觉语言架构实现高压缩率(10倍)和高信息保真度(97%)。模型包含DeepEncoder编码器和DeepSeek-3B-MoE解码器，支持多分辨率适配，处理速度快(8.2页/秒)，显存占用低(4.5GB)。在多种语言识别、文档解析、结构化数据提取等领域表现优异，适用于法律、金融、物流等场景，显著提升文档处理效率。DeepSeek-OCR 是深度求索于 2025 年 10 月发布的多模态 OCR 模型，核心创新在于。
fNIRS–EEG监测人脑活动和氧合作用的研究进展
cc1609130201的博客
03-28 3931
在人类脑功能的研究中，多模式监测已变得相当普遍，其中，功能近红外光谱(fNIRS)和脑电图(EEG)的同步测量成为一个备受关注的研究热点。由于没有光电干扰，将这两种无创的脑活动记录程序整合起来是非常容易的。fNIRS和EEG都是头皮定位的程序。fNIRS通过光谱测量来估计脑血流动力学变化，脑电图通过无源电压评估（passive voltages evaluations）来捕捉大脑电活动的宏观时间动态。这两种技术所提供的“正交”的神经生理学信息，以及研究者对神经血管耦合现象日益增长的兴趣，进一步促进了它们的整
基于EEG和fNIRS的混合生物标志物的脑成像
u011661076的博客
05-12 1521
大家好，这里是 “茗创科技” 。茗创科技专注于脑科学数据处理，涵盖（EEG/ERP, fMRI,结构像,DTI,ASL, ,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师（MCKJ-zhouyi或17373158786）咨询。 脑成像方法 在过去的二十年中，大脑结构和功能可视化技术的进步为医学、生物医学以及相关领域的研究人员研究大脑的功能和连接提供了大量的机会。各种各样的成像技术使我们能够精确地实现从单个分子到整个大脑的可
多模态自编码器从EEG信号预测fNIRS静息态
u011661076的博客
10-31 1718
导读本研究介绍了一种深度学习架构，用于评估40名癫痫患者的多模态脑电图(EEG)和功能性近红外光谱(fNIRS)记录。长短期记忆网络和卷积神经网络集成在一个多模态序列到序列的自编码器中。训练后的神经网络通过从EEG全谱和特定EEG频段中分层提取深度特征，从EEG中无先验地预测fNIRS信号。结果表明，与其他频谱包络相比，更高频率的EEG范围可以预测fNIRS信号，其中gamma频段的输入主导fNIRS预测。基于种子的功能连接验证了实验性fNIRS和本研究模型的fNIRS重建之间的相似模式。
EEG-fNIRS数据分析
weixin_45770505的博客
12-22 1589
EEG: 通过无源电压评估（passive voltages evaluations）来捕捉大脑电活动的宏观时间动态。fNIRS：通常依赖于通过光纤或纤维束向头皮内射入和探测光线。光纤在电方面绝缘于受试者，且它们可以使光源和探测器离头皮足够远。不同的仪器技术程序被开发出来，并用于近红外光谱监测。具体可以识别出三个主要类别，TD系统使用非常短的光脉冲(picoseconds)，而FD系统使用无线电频率调制的光(50 MHz)来研究感兴趣的组织。由于其简单的技术特点，连续波CW。
010基于CNN-LSTM的EEG-fNIRS混合图像构建与分类-2022
Crystalxxtt的博客
10-22 1080
社会技术系统中不断发展的人机交互和进步使得通过监测大脑状态来分析重要的人类因素，如脑力劳动、警觉、疲劳和压力，以实现最佳性能和人类安全是至关重要的。同样，在脑机接口(BCI)和神经障碍和运动障碍的闭环神经调节等领域，脑信号已经成为康复和辅助目的的首要目标。脑信号的复杂性、非平稳性和低信噪比给研究人员设计健壮可靠的BCI系统带来了巨大的挑战，以准确地检测实验室环境以外的大脑状态的有意义的变化。在混合环境中使用不同的神经成像模式来提高准确性，增加控制命令，并减少大脑活动检测所需的时间。功能近红外光谱(FNIRS
拓扑感知多模态融合在神经动态表征学习和分类中的应用
u011661076的博客
08-21 1316
摘要 近年来，脑电图(EEG)和近红外光谱(fNIRS)等多模态神经成像技术在脑机接口(BCI)和神经病理诊断中的应用得到了广泛应用。如下图顶部所示，大多数现有方法假设观察结果为独立同分布(i.i.d.)，但忽略了个体之间的差异。在融合BCI信号进行判别特征学习的同时，对受试者组进行建模以保持拓扑信息是一项具有挑战性的工作。本文介绍了一种基于拓扑感知图的多模态融合(TaGMF)框架来对肌萎缩侧索硬化症(ALS)和健康个体进行分类，如下图底部所示。本研究框架基于图神经网络(GNN)，但具有两个独特之处。首先
eeg数据集_在神经反馈任务中同时进行EEG-fMRI，多模态数据集成的大脑成像数据集...
weixin_39840635的博客
11-30 648
文章来源于"脑机接口社区"在神经反馈任务中同时进行EEG-fMRI，多模态数据集成的大脑成像数据集​mp.weixin.qq.com虽然将EEG和fMRI结合使用可实现精细的空间分辨率和准确的时间分辨率集成，但仍带来许多挑战,比如要实时执行以实现神经反馈（Neurofeedback, NF）循环时。在这项研究里，研究人员描述了在运动想象NF任务期间同时获取的EEG和fMRI的多模态数据集，并补充了...
neuromaps——多模态、多尺度脑科学数据综合分析的利器 的使用
从事脑科学核磁共振方法学研究，在Nature communications等权威期刊发表研究论文，熟练掌握磁共振处理方法和统计学方法，欢迎大家和我交流。
10-22 1968
神经图谱旨在提供一套可复制的工具，用于处理和分析大脑地图(或“注释”)。作者介绍了一个开放访问的Python工具箱，neuromaps，以使研究人员能够系统地共享、转换和比较脑图（图1）。neuromaps软件工具箱在neuromaps上可用，在PyPi、Zenodo上，它作为Docker容器存在，文档可以在GitHub页面上找到（https://netneurolab.github.io/neuromaps）。
多模态语言采集分析系统产品及方案介绍
10-27
一个专业领域的产品方案，主要介绍声音和语音分析的产品及方案简单介绍资料，包括声音分析的技术，产品的介绍及应用的领域。
EEG多模态情绪（焦虑）识别前沿综述
apple_52478019的博客
07-03 1381
和。
大模型 | 多模态基础术语汇总（数据采集与表示、数据处理与融合、学习与推理）看这一篇就够了！
Code1994的博客
09-23 2119
迁移学习是一种机器学习方法，它利用在一个任务上学到的知识来帮助解决另一个不同但相关的任务。在多模态学习中，迁移学习可以帮助模型更快地适应新的模态或任务，提高学习效率。例如，可以将在大量文本数据上学到的知识迁移到图像描述任务中。多模态学习是指利用来自多个不同模态的数据进行学习和推理的过程。它旨在整合不同模态之间的互补信息，以提高模型的感知与理解能力。多模态学习是当前人工智能领域的一个研究热点，它推动了智能应用的边界扩展。通过多模态学习，我们可以构建更加智能、更加全面的系统来应对复杂多变的现实世界。
智能分析：多模态分析_（2）.多模态数据获取与预处理
zhubeibei168的博客
03-27 2160
多模态数据的获取与预处理是智能分析领域的重要步骤。不同的数据类型需要不同的获取和预处理方法，包括图像、视频、音频、文本、传感器数据等。通过有效的预处理，可以确保数据的质量，从而提高模型的性能和准确性。本章介绍了各种数据类型的获取与预处理方法，并提供了相应的Python代码示例，希望能够帮助读者更好地理解和应用这些技术。
多模态大模型：技术原理与实战 方法论介绍
AI天才研究院
12-09 1487
《多模态大模型：技术原理与实战 方法论介绍》 第一部分: 多模态大模型基础 第1章: 多模态大模型概述 1.1 多模态大模型的定义与背景
一文彻底搞懂多模态 - 基本术语，零基础入门到精通，收藏这篇就够了
Python_0011的博客
10-06 1171
*等。在语言学中，模态也可以指说话人对某种语言表达的态度或语气。但在多模态学习中，我们主要关注数据的表现形式。**
FEAD：fNIRS-EEG情感数据库(视频刺激)
u011661076的博客
09-18 2445
摘要 本文提出了一种可用于训练情绪识别模型的fNIRS-EEG情感数据库——FEAD。研究共记录了37名被试的脑电活动和脑血流动力学反应，以及被试对24种情绪视听刺激的分类和维度评分。探讨了神经生理信号与主观评分之间的关系，并在前额叶皮层区域发现了显著的相关性。该数据库将公开提供，旨在鼓励研究人员开发更先进的情感计算和情绪识别算法。 引言 情绪是神经系统对某种刺激产生的一种短暂而强烈的反应。许多研究表明，大脑皮层和皮层下神经结构参与了情绪的调节和处理。因为神经系统在控制、反应和调节心理过程中发挥着
文献合集 | 超扫描之fNIRS / fMRI / EEG / MEG
u011661076的博客
11-10 1653
文章来源于微信公众号（茗创科技），欢迎有兴趣的朋友搜索关注。 在很多情况下，一个大脑中的神经过程与另一个大脑中的神经过程是通过环境传递的信号耦合。大脑间的耦合塑造了社会网络中每个个体的行为，从而导致更为复杂的社会交互。而人类的生存与发展，都是在人与人之间的社会交互作用中实现的，通过社会交往，个体接受各种社会影响，掌握社会规范，学习社会行为。 目前，实验室实验通常是将人或动物与自然环境隔离，把他们放在一个封闭的房间里，只与计算机程序进行交互。这种以自我为中心的研究框架让人想起托勒密的地心说。从人类文明早期
eeg-fnirs数据预处理
03-31
### EEG-fNIRS数据预处理方法与工具 EEG和fNIRS作为两种重要的脑功能成像技术，在联合使用时可以提供互补的信息，从而增强对大脑活动的理解。然而，由于这两种模态的数据特性不同，其预处理过程也存在差异。 #### EEG数据预处理 对于EEG数据的预处理，通常遵循一系列标准化步骤以减少噪声和伪迹的影响。这些步骤包括但不限于： - **参考重定**：为了消除头皮表面电位分布不均带来的影响，常用共同平均参考法（CAR）。此操作有助于提高信噪比[^2]。 - **带通滤波**：通过二阶巴特沃斯无限脉冲响应（IIR）滤波器将原始信号限定在一个特定频率范围内（如1–45 Hz），以便保留有意义的大脑活动成分而排除高频噪音和其他干扰因素。 - **坏通道修复**：自动或手动识别受损通道，并对其进行剔除或者插值替代，确保后续分析的质量不受单点异常值拖累。 - **视觉检查**：由经验丰富的研究人员逐段审阅记录下来的时间序列，进一步确认是否存在未被先前自动化程序捕捉到的重大污染片段。 - **独立分量分析（ICA）去噪**：运用FastICA算法执行盲源分离，从中辨别出那些源于肌肉运动、眼动等非目标生理现象所贡献的部分加以移除。 #### fNIRS数据预处理 针对fNIRS数据，则需考虑光学性质及其特有的挑战来进行适当调整： - **基线校正**：考虑到血液动力学反应函数的特点，往往要先做零偏置修正，使得每条曲线回到初始水平附近再开展深入探讨[^3]。 - **短间隔回归**：如果硬件支持的话，利用靠近光源探测器对之间较窄距离测得的结果可以帮助抵消皮肤散射效应造成的偏差[^4]。 - **全局趋势去除**：长期缓慢变化可能掩盖真实的局部激活模式，因此有必要实施多项式拟合或其他形式的趋势扣除措施。 #### 软件工具推荐 目前市面上已有多种成熟的软件包可用于上述各类任务： - **MATLAB环境下的专用工具箱** - EEGLAB: 主要是面向EEG/ERP领域设计的强大开源平台之一，内置众多实用模块完成从导入导出直至高级统计建模整个工作流程。 - NIRS_SPM & Homer2: 针对近红外光谱成像专门定制的功能集合体，涵盖了大部分常规需求比如质量控制评估、空间配准映射等等。 - **Python生态系统内的解决方案** - MNE-Python: 支持多类型生物医学信号读取解析的同时还扩展到了混合范式的场景下，特别适合追求跨学科协作项目团队选用[^5]。 - PyRiemann: 基于黎曼几何理论构建起来的一套高效分类预测框架，尤其擅长处理时空结构复杂的高维矩阵型资料集。 综上所述，无论是单独还是组合应用以上提及的技术手段都能够显著改善最终获得特征指标的有效性和可靠性，进而促进更精准可靠的科学研究成果产出。 ```python import mne from pyriemann.estimation import Covariances from sklearn.model_selection import train_test_split # Example of loading data with MNE raw_data = mne.io.read_raw_fif('sample.fif', preload=True) # Preprocessing steps like filtering can be applied here filtered_data = raw_data.filter(l_freq=1., h_freq=45.) # Further processing such as artifact rejection or ICA decomposition would follow... # For demonstration purposes only, splitting into training/testing sets hypothetically. X_train, X_test, y_train, y_test = train_test_split(filtered_data.get_data().T, labels, test_size=.2) cov_est = Covariances() train_covs = cov_est.fit_transform(X_train) test_covs = cov_est.transform(X_test) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值