基于fNIRS的手部运动分类

医疗保健

Article基于fNIRS神经影像数据的手部运动检测

摘要

随着被诊断为运动障碍的人数不断增加，设计能够更好地在自然环境中理解人脑的技术变得至关重要。有许多脑成像方法（如fMRI、SPECT和MEG）可提供大脑的功能信息。然而，这些技术存在一些局限性，包括不便移动、成本高以及运动伪影等问题。目前最新兴的便携式脑扫描仪之一是功能性近红外光谱（fNIRS）。在本研究中，我们对七名健康受试者在执行手腕任务（如翻转手部并伴有休息期（无动作））时进行了fNIRS神经影像采集。将不同模型的支持向量机应用于这些fNIRS神经影像数据，结果表明，对于单个参与者的fNIRS数据，我们能够以超过80%的准确率对动作期和休息期进行分类。我们的结果具有前景，表明所提出的fNIRS分类方法可进一步应用于脑机接口（BCI）等实时应用，并可用于本研究的后续步骤中，即从fNIRS和脑电图（EEG）记录大脑活动，并将其与身体运动传感器融合以关联各项活动。

关键词 ：运动检测；功能性近红外光谱；SVM；手部运动

引言

大脑是人体中最复杂的器官，由数百万个神经元和细胞组成。我们的大脑控制着我们所做的几乎每一项任务。大脑处理我们的感官信息，包括听到的、看到的、闻到的以及我们的感受。此外，当我们进行身体活动时，无论是简单的手部动作还是跳舞，都是大脑接收、处理并向不同器官传递信息的结果[1]。

运动障碍是神经系统或肌肉受损或功能异常的结果，而这些系统和肌肉需要相互之间复杂的交互才能完成各种动作[2]。运动障碍的发病率（指每年新诊断出的运动障碍病例数量）[3],正在上升，预计在2010年与2050[4]年之间将出现急剧增长。目前已有多种方法可用于运动障碍的诊断和治疗，其中脑部监测可以是较好的选择之一。

有许多不同类型的非侵入性脑监测技术，例如正电子发射断层扫描（PET）、单光子发射计算机断层扫描（SPECT）和功能磁共振成像（fMRI），这些技术的主要缺点是不便移动。另一方面，还有一些技术如脑磁图（MEG）和脑电图（EEG），它们具有便携式特点，并可测量皮层电磁和电的活动分别通过将电极直接放置在头皮表面来监测活动[5]。这些新近方法的主要缺点是在进行某些运动实验时会产生运动伪影污染数据。一种便携式无创脑监测方法是功能性近红外光谱技术(fNIRS)，它基于光学原理检测大脑皮层区域的血流动力学变化[6,7]。特别是运动任务已成为fNIR研究的主题，因为该技术非常适合检查相关的皮层区域，即前运动皮层(PMC)和初级运动皮层(M1)。

本研究中，我们使用功能性近红外光谱（fNIRS）记录了健康受试者在执行源自帕金森病筛查方案的运动任务以及一些休息期时的运动皮层区域数据，在休息期间参与者需保持静止不动。随后，我们对数据应用低通滤波器以减少环境噪声，并采用多种分类方法来检测静息期和动作期。

2. 背景与相关工作

fNIRS与其他成像技术（如fMRI、EEG和PET）相竞争。在PMC和M1区域的情况下，fNIRS成像的一个优势是这些区域位于外层大脑皮层，处于fNIRS的血氧水平依赖（BOLD）扫描范围内[8]。

fMRI利用磁场检测BOLD信号，而fNIR发射器则从外部向头皮表面发射700–900纳米范围内的红外光，穿透颅骨、脑膜和大脑皮层。当光与氧合血红蛋白(HbO2)和脱氧血红蛋白（Hb）相互作用时会发生折射。检测器组件接收折射光，并能够区分两者的相对浓度[9]。

氧合血红蛋白（HbO2）和脱氧血红蛋白（Hb）在近红外(NIR)光谱范围内几乎是光吸收最强的物质，而头部的所有层，包括皮肤、骨骼、组织和脂质，对近红外光都是透明的。功能性近红外光谱利用这一现象，使用近红外光监测大脑皮层区域的血流，并根据HbO2和Hb[10]的吸收情况提供大脑的血流动力学响应。图1展示了fNIRS系统如何通过向大脑皮层发射近红外光，并通过探测器接收反射并衰减的光来记录血流动力学响应的示意图，以及HbO2和Hb的吸收光谱。

最近二十年来，许多研究使用功能性近红外光谱监测脑部氧合的变化，以响应不同的任务，如视觉[11,12],认知[13–16]和运动[9,17–21]。

一些研究已经开展，旨在基于功能性近红外光谱信号进行运动分类，并提供脑机接口以检测不同运动，从而在小规模实践环境中提高系统的预测精度。

• Naseer和Hong等人[22],使用连续波fNIRS系统采集了十名健康参与者左右初级运动皮层的信号，旨在区分左右手腕屈曲运动想象。他们在10秒任务期内采用线性判别分析分类器，分别实现了73.35%和83.0%的左右手腕运动想象平均分类准确率。此外，通过将分析时间限制在10秒任务期中的2‐7秒时间段内，平均分类准确率分别提高到77.56%和87.28%。
• Sitaram等人的一份报告中提到，使用连续波20通道NIRS系统对5名健康志愿者的运动皮层进行检测，以测量左手和右手运动想象过程中的氧合与脱氧血红蛋白变化。报告中指出，采用支持向量机对左手运动想象与右手运动想象进行分类，志愿者的平均准确率为73%。
• Fazli等人[24]在基于实时感觉运动节律(SMR)的脑机接口范式中同时应用了功能性近红外光谱和EEG方法，涉及实际运动以及运动想象，并表明NIRS与EEG同步测量可在约90%的受试者中提高运动想象的分类准确率，平均性能提升5%。
• 阿尔马吉迪等人的一份报告中，使用功能性近红外光谱、脑电图和三极同心环电极脑电图(tEEG)来控制二维脑机接口，并提取了信号中的不同特征。采用线性判别分析(LDA)对这些特征的不同组合进行分类，达到了85%的准确率。
• 在Power等人发表的另一份报告中，报道了基于fNIRS数据对两种认知任务（具体为心算和音乐想象）引起的前额叶活动进行分类的情况。报告指出，在参与者中对心算和音乐想象进行分类的平均准确率达到77.2% ± 7。

3. 数据采集

3.1. 参与者

本研究招募了七名健康参与者，年龄均为20至33岁。所有参与者均来自罗德岛大学。他们根据机构审查委员会(IRB)的要求签署了知情同意书。受试者的基本情况见表1。

表1. 实验参与者的相关信息。

参与者	1	2	3	4	5	6	7
性别	M	M	M	M	F	F	M
优势手	右	Left	右	右	右	右	右
发色	黑色	棕色	金色	棕色	棕色	金色	棕色
头发长度	2英寸	2.5英寸	3英寸	3英寸	12英寸	12英寸	1英寸
肤色	Dark	浅色	浅色	Dark	浅色	浅色	浅色
Age	33	21	22	22	23	22	21

3.2. 协议

要求参与者完成多个动作任务，包括翻转右手、从手腕处旋转右手、在纸上画圆以及行走，每项任务之间设有休息期，这些任务有助于分析帕金森病患者的运动情况。在本研究中，我们特别关注其中一项任务，即翻转右手的活动。每项任务的持续时间为30秒，之后是30秒的休息期，即保持静止不动。对于参与者1至4，他们完成了15次试验，每次试验持续30秒，并伴有休息。

每次试验之间有30秒窗口时间。参与者5至7只能完成两次试验，因此我们未将这些参与者的数据加入本研究的处理部分。

一个休息期后接任务期的时间持续1分钟，重复15次，提供15分钟数据，该数据在30秒间隔内分段，交替进行休息和翻转手部。图2展示了该协议的时间线。

3.3. fNIRS神经影像数据

fNIRS数据使用位于头部运动皮层区域的8 × 8传感器阵列，从NIRScout系统（NIRx公司，美国纽约州纽约市）采集。我们将光极精确地放置在10‐20导联系统的运动皮层相关区域，共形成20个fNIRS通道（每半球10个通道）。

除了fNIRS数据外，我们还记录了来自Mocap身体运动传感器（YEI科技公司，美国俄亥俄州朴茨茅斯）的运动数据。这些身体运动传感器是可穿戴且完全无线的。每个传感器记录运动数据，并通过无线方式将其传输到连接在同一台计算机上的接收器，该计算机同时用于记录fNIRS数据。我们使用了16个身体运动传感器，可以记录全身运动。在本文中，我们利用运动传感器的数据对fNIRS数据进行同步。图3展示了当参与者佩戴传感器并根据屏幕上的视觉提示进行实验时，实验装置的示意图。

4. 方法

在本节中，描述了用于对fNIRS数据中的静息期和动作期进行分类的分类方法。需要指出的是，fNIRS数据的主要频谱位于低于1.5赫兹的低频范围内。因此，在应用以下任何方法之前，我们首先使用截止频率1.5赫兹的4阶低通巴特沃斯滤波器以去除环境噪声。此外，针对心跳和梅奥尔波等生理噪声，我们采用了截止频率0.1和0.5赫兹的4阶带通巴特沃斯滤波器，如[27,28]中所建议。

4.1. 分割

分割和对齐算法是在将fNIRS数据应用于分类器之前的重要预处理步骤。因此，我们首先使用分割，并将分类器应用于数据集，以对静息期和动作期进行分类。为了说明我们所使用的分割方法，让我们假设我们仅观察与静息或动作任务相关的数据集的一个30秒窗口。我们将此数据窗口分为15个段，每个段包含持续时间2秒的数据，且这些段之间无重叠。然后，我们取每个2秒段内所有样本的均值。

每个2秒的段包含16个样本的fNIRS数据。因此，我们取这16个样本的均值，并将该均值作为我们的新数据点。图4展示了分割是如何完成的。

通过应用分割，我们减小了数据集的大小，对于数据中的每个30秒窗口，我们仅有15个数据点，而不是原始数据中的全部240个样本。随后，我们在缩减后的分段数据集上应用了不同的分类方法，并获得了系统对静息和动作任务进行分类的准确率。

4.2. 分类

支持向量机（SVM）是一种监督学习模型，它使用非线性映射将原始训练数据转换到更高维度。在新的维度中，该模型寻找线性最优分离超平面（即分隔一个类别的元组与另一个类别的元组的“决策边界”）。通过适当的非线性映射到足够高的维度，来自两个类别的数据总能被一个超平面[29]分离。

支持向量机（SVMs）的基本概念是，系统基于一个训练数据集进行自我训练，该训练数据集可以是原始数据集中被标记为两个不同类别的部分。在系统完成训练后，将使用原始数据集的另一部分对其进行测试，以预测数据的标签；通过比较预测标签与原始标签，可以得到系统的准确率。在本研究中，我们采用了多种学习算法应用于支持向量机中。通过对线性支持向量机应用拉格朗日优化理论，并结合核函数，我们能够对非线性可分的数据集进行分类；而非线性支持向量机则保留了寻找线性决策面的高效性，同时允许我们将这些方法应用于非线性可分的数据集。此外，还可以调整分类器的边界，从而改变系统的复杂度和准确率。通常情况下，较大的边界会使系统复杂度降低，但另一方面可能导致系统出现更多错误，从而降低准确率。这可以通过更改分类器模型中称为代价常数的变量来实现。

表2. 本研究中使用的不同分类方法。

索引	核函数名称	核函数	度数	代价常数
1	线性核	k(~x,~y)=~x ·~y	–	1
2	线性核	k(~x,~y)=~x ·~y	–	10
3	线性核	k(~x,~y)=~x ·~y	–	100
4	多项式核	k(~x,~y)=(~x ·~y + c)d	2	1
5	多项式核	k(~x,~y)=(~x ·~y + c)d	2	10
6	多项式核	k(~x,~y)=(~x ·~y + c)d	2	100
7	多项式核	k(~x,~y)=(~x ·~y + c)d	3	1
8	多项式核	k(~x,~y)=(~x ·~y + c)d	3	10
9	多项式核	k(~x,~y)=(~x ·~y + c)d	3	100
10	径向核	k(~x,~y)= e−( |~x−~y|2/2σ2 )	–	1
11	径向核	k(~x,~y)= e−( |~x−~y|2/2σ2 )	–	10
12	径向核	k(~x,~y)= e−( |~x−~y|2/2σ2 )	–	100

在本研究中，我们使用了与大脑左半球相关的fNIRS数据的10个通道。原因是该实验基于右手运动，据信会激活左半球的运动皮层区域。因此，我们将重点放在与该半球相关的通道上。数据根据静息和动作任务进行标注，休息期标记为标签0，动作期标记为标签1。换句话说，对于包含240个样本的每个30秒窗口的数据，我们分别将静息和动作任务的数据标记为0或1。

4.3. 评估

回顾支持向量机的原理可知，需要将原始数据集划分为两部分，一部分用于训练模型，另一部分用于测试并提供准确率，这一过程称为评估。在分类任务的评估方面，我们采用了不同的训练和测试方法。所使用的方法包括留出法和k折交叉验证。下面简要说明这些方法之间的区别。留出法简单地将数据集的一部分用于训练，保留另一部分用于测试准确率。这两部分的比例可由用户定义，我们将训练和测试部分的比例分别设定为2/3和1/3。因此，系统使用数据集的三分之二进行自我训练，然后预测剩余三分之一数据集的标签，并最终进行比较。

在k折交叉验证中，系统将数据集划分为k个不同的折叠，每个折叠的长度相同且彼此之间没有重叠。其原理是系统使用每个折叠进行测试，同时利用其余折叠进行训练，最后提供系统准确率，即在不同折叠上得到的所有准确率的平均值。

本文中，我们对前四名参与者的完整数据集应用了多种不同类型评估的学习算法。由于参与者5至7只能进行两次试验，因此无法在这些参与者的数据集上测试分类器。观测值数量较少时，数据分类不可行。如前一节所述，实验持续时间为15分钟，分为15次试验，每次试验包含30秒休息期和30秒动作期。NIRScout系统的采样率为7.81赫兹，整个实验持续时间共提供7029个样本。通过对数据集应用不同的分类器，找到了准确率最高的最佳模型。

5. 实验结果

本节报告实验结果，并讨论对参与者翻转右手时从运动皮层记录的fNIRS数据进行分类的过程。

图5显示了一次试验中静息状态和翻转手动作期间一个fNIRS通道的氧合血红蛋白（HbO）、脱氧血红蛋白（Hb）和总血红蛋白的变化情况。可以看出，当翻转手动作开始时，HbO增加，这也导致总血红蛋白增加。

我们的第一组观测值涉及网格搜索，旨在为这类数据找到最佳的分类模型。为了实现这一目标，我们应用了表2中提到的12种分类模型，以及前面提到的不同类型的评估方法。我们将这些方法应用于前四名参与者的完整长度过滤数据集和分段缩减数据集。在系统评估方面，我们对完整长度数据集和分段数据集使用了留出法（比例为2/3）以及k-折交叉验证（k等于10）。

对前四名参与者的数据集进行网格搜索的结果表明，分类方法在完整长度数据集上的表现优于分段数据集。尽管分割在许多不同方面可被视为实施分类方法的有效工具，但在本案例和此类数据中，它存在一些缺点。图6显示了将不同类型的分类方法应用于完整长度数据时系统的准确率来自一位参与者的数据集和分段数据集，结果表明系统在应用于完整长度数据集时性能显著更好。

研究系统在其他参与者数据上的表现表明，将分类方法应用于完整长度数据集时，结果优于应用于分段数据集的情况。表3展示了每名参与者在完整长度数据上不同方法的表现。可以看出，使用代价常数100的径向核函数相较于其他分类方法具有更好的性能，在采用k折交叉验证和留出法评估系统时，准确率均超过80%。

表3。各前四名参与者完整长度数据上不同方法的性能。

SVM方法	评估	P1	P2	P3	P4
线性核 C = 1	10折	49.88%	49.87%	52.16%	52.33%
线性核 C = 1	留出法	49.95%	50.64%	50.68%	53.92%
线性核 C = 10	10折	49.91%	49.90%	50.80%	52.59%
线性核 C = 10	留出法	49.87%	50.64%	50.73%	53.84%
线性核 C = 100	10折	49.13%	49.47%	51.17%	52.19%
线性核 C = 100	留出法	49.91%	50.68%	50.81%	53.88%
二次多项式核 C = 1	10折	58.88%	63.33%	64.57%	61.58%
二次多项式核 C = 1	留出法	59.17%	63.14%	64.12%	61.77%
二次多项式核 C = 10	10折	61.28%	62.83%	64.59%	63.24%
二次多项式核 C = 10	留出法	60.92%	62.97%	64.67%	62.88%
二次多项式核 C = 100	10折	61.68%	63.04%	64.48%	62.93%
二次多项式核 C = 100	留出法	61.82%	62.67%	65.10%	62.88%
三阶多项式核 C = 1	10折	58.95%	63.10%	63.00%	59.70%
三阶多项式核 C = 1	留出法	57.94%	60.32%	62.97%	59.81%
三阶多项式核 C = 10	10折	62.28%	67.72%	65.89%	65.50%
三阶多项式核 C = 10	留出法	61.05%	66.17%	67.02%	65.19%
三阶多项式核 C = 100	10折	65.93%	69.27%	66.51%	65.55%
三阶多项式核 C = 100	留出法	63.11%	68.85%	67.23%	64.72%
径向核 C = 1	10折	66.33%	70.88%	73.93%	69.23%
径向核 C = 1	留出法	63.10%	68.61%	73.12%	68.34%
径向核 C = 10	10折	72.80%	82.33%	83.90%	77.21%
径向核 C = 10	留出法	71.42%	79.73%	82.42%	75.64%
径向核 C = 100	10折	78.98%	90.41%	92.84%	84.15%
径向核 C = 100	留出法	76.66%	88.48%	91.30%	82.68%

6. 结论

本研究利用fNIRS神经影像数据对翻转手部动作和休息时间进行分类。数据来自七名参与者，其中四名参与者进行了15次试验，其余三名进行了2次试验。我们对前四名能够完整完成实验的参与者所记录的完整长度数据以及2秒分段数据应用了多种分类方法。网格搜索结果显示，与分段数据集相比，对完整长度数据集应用分类方法可获得超过80%的更高准确率。网格搜索选出径向核支持向量机并以代价常数100作为在该数据集上性能最佳的模型。留出法和k‐折交叉验证两种评估方法得到的准确率几乎相同，但10折交叉验证表现略优。

本文的结论表明，有可能从功能性近红外光谱神经影像数据中区分静息期和动作期。我们相信，我们在分类方面的结果是富有前景的，将有助于推进功能性近红外光谱在脑机接口等应用中的研究。

本研究是迈向将大脑与身体数据融合这一主要目标的第一步。未来工作包括构建功能性近红外光谱与脑电图记录的混合系统以实现更高的分辨率，并融合运动传感器的数据以并行关联肌肉活动。