Design and Implementation of a Brain-Computer Interface With High Transfer Rates-优快云博客

Design and Implementation of a Brain-Computer Interface With High Transfer Rates

译：高传输速率脑机接口的设计与实现

原文链接：https://ieeexplore.ieee.org/document/1035968/

摘要

本文介绍了一种可以帮助用户输入电话号码的脑机接口（BCI）。该系统基于稳态视觉诱发电位（SSVEP）。以不同速率映射的按钮显示在计算机监视器上。这些按钮构成一个虚拟电话键盘，代表十位数0-9，BACKSPACE和ENTER。用户可以通过注视这些按钮来输入电话号码。频率编码的SSVEP用于判断用户想要的按钮。十三个科目中的八个成功地使用该系统振铃移动电话。所有受试者的平均转移率为27.15比特/分钟。该系统的吸引人的特点是无创信号记录，需要很少的训练使用，以及高信息传输率。讨论了改善系统性能的方法。

1 介绍

脑-计算机接口（BCI）是将大脑连接到计算机或另一电子设备的通信通道。BCI的内在特征是它不依赖于大脑周围神经和肌肉的正常输出途径[1]。大脑和计算机之间的通信通道满足两个基本要求：1）有助于区分几种大脑状态的特征; 2）用于实时检测和分类这些特征的方法。现在可以使用各种技术来监测脑功能，例如脑电图（EEG），脑磁图，功能磁共振成像和正电子发射断层扫描。后三种技术在技术上要求高且昂贵。目前，脑电图是BCI实施的最佳选择。

在过去十年中，世界上许多实验室已开始研究BCI，并建立了一些原型系统[1]。这些系统在输入，特征提取和转换算法，输出以及诸如速度，准确度和适当的用户群等其他特征方面差别很大。BCI的典型输入信号包括慢皮质电位[2]， μ 要么 β 记录在感觉运动皮层上的节律[3] - [4] [5]，与不同心理任务相关的脑电图模式[6]，[7]，P300电位[8]，[9]和视觉诱发电位（VEPs）[10] ]，[11]。电极可以放在头皮上或皮质上[10]，[12]，[13]。典型的BCI应用涉及光标移动，字母或图标选择或设备控制。目前，BCI主要用作运动障碍的个体的增强通信技术，例如肌萎缩侧索硬化（ALS）或脑瘫。

若干问题对于进一步发展和扩大BCI技术的利用至关重要。第一个问题是信息传输率。当前的BCI是相对低带宽的设备，最多可提供5-25比特/分钟的最大信息传输速率[1]。以此速率，可能需要几分钟才能将简单的单词输入计算机。如果这个比率可以提高，BCI可能会为所有人提供与环境互动的有用方法。

第二个问题是用户培养能力的培训时间。不依赖外部刺激的BCI提供对环境的直接控制，但这些BCI通常需要大量培训，从几个小时[14]到几个月[6]。基于诱发电位的BCI可能不需要大量培训，但确实需要结构化环境。

第三个问题是医学侵入性。技术侵入性越小，越有可能在各种应用中使用。植入电极提供稳定的位置，无伪影，并具有更高的信噪比（SNR）。但是这种系统的一个难点是如何确定电极的位置和数量。另一个困难是如何使系统长期保持稳定。头皮EEG技术是非侵入性的，但具有相对低的SNR和空间分辨率。

基于上述考虑，我们的兴趣集中在高转移率，最低限度的培训和无创性上。从枕头头皮记录的稳态视觉诱发电位（SSVEP）被用作我们BCI系统的输入。该系统具有关注以特定频率发生的EEG活动的优点。此功能简化了特征提取方法，用户几乎不需要培训。基于SSVEP的BCI属于从属BCI。一个完整的视觉系统是必要的，它将完全致力于基于EEG的通信。

1991年，Skidmore等人。讨论了建立诱发电位视觉跟踪系统的可能性[15]。他们发现双重刺激物体可以产生可分离的反应。在空军研究实验室[16]，[17]中采用了两种使用SSVEP进行控制的方法。首先，训练操作员自我调节SSVEP的幅度，控制是二元的。在第二个中，使用以17.56和23.42Hz调制的两个虚拟按钮来诱导多个SSVEP。

我们已经应用了基于SSVEP的BCI来控制光标移动[18]。在这项工作中，以不同频率照亮的四个按钮代表四个方向; 用户可以通过查看相应的按钮将光标移动到不同的方向。在本文中，我们将介绍基于SSVEP的BCI的新应用，以显示系统提供高传输速率的能力。

图1. 响应7Hz刺激的SSVEP的幅度谱。可以清楚地发现7Hz，14Hz和21Hz的三个峰值。（a）单次试验幅度谱。采样率为200 Hz，试验有512个数据点（在FFT之前零填充到1024点）。（b）平均振幅谱平均超过40次试验。垂直线给出标准偏差。

2 方法

A. 科学背景

VEP至少在某种程度上反映了处理大脑视觉信息的电生理机制。信号总是响应刺激的变化。视野中的静态刺激似乎不会影响EEG活动的任何显着改变。由视觉输入的变化引起的信号已被证明反映了刺激的某些特性[10]。

基于刺激频率区分瞬态VEP和SSVEP。前者在刺激频率小于2Hz时出现。然而，如果刺激的重复率高于6Hz，则会产生称为SSVEP的周期性响应。它由一系列组件组成，其频率是重复频率的精确整数倍。SSVEP的幅度和相位对诸如重复率，对比度或调制深度和空间频率等刺激参数高度敏感[19]。图1显示了7Hz诱导的SSVEP的振幅谱。可以清楚地发现7,14和21Hz的三个峰值。

发现SSVEP强烈依赖于空间注意力，响应于有人在无人看管地点的闪烁刺激而显着扩大[20]。增加的SSVEP幅度反映了对属于空间注意范围的刺激的神经反应的增强。该观察结果表明，SSVEP可以提供在线方法来识别一组刺激中的注意目标。

B. 硬件和软件

图2. 用于电话呼叫的基于SSVEP的BCI系统的框图

图3. 十三个按钮在计算机显示器的屏幕上间隔很宽。3×4刺激矩阵构成虚拟电话键盘。按钮ON / OFF用于控制其他刺激的开始和停止。

图2显示了基于SSVEP的BCI系统的框图。该系统旨在帮助用户输入电话号码。在计算机显示器上显示了以不同频率闪烁的十三个按钮（图3）。所有频率的开关工作周期均为50/50。3×4激励矩阵构成虚拟电话键盘，表示数字0-9，BACKSPACE和ENTER。用户可以通过注视这些按钮来输入电话号码并纠正输入错误。每次选择后，从计算机的扬声器发出一声蜂鸣声，结果显示在监视器上，以便用户知道选择是否正确。如果选择错误，用户可以通过按下BACKSPACE按钮将其删除。计算机通过调制解调器连接到电话网络。选择ENTER时，输出的数字将被发送出去。按钮ON / OFF用于控制其他刺激的开始和停止。它会一直闪烁。如果刺激矩阵是静态的，系统只需要检测按钮ON / OFF的频率。对该按钮应用严格的检测标准以减少误报的发生。

按钮在屏幕上间隔很宽。每个按钮是一个2厘米×2.7厘米的矩形。相邻按钮之间的距离水平4厘米，垂直4.5厘米。

根据国际10-20系统，从O1和O2记录双通道EEG信号，并分别参考左耳和右耳。电子电路提供信号放大，A / D转换（采样率= 200Hz）和信号传输。系统采用无线发射器，为用户提供更多自由。只要用户的眼睛固定在所需的按钮上，用户就可以自由地移动头部。连接到串行端口的接收器向计算机提供输入数据。

用4-35Hz的带通过滤数据。使用填充零的最新512点EEG数据，每0.3秒执行1024点快速傅里叶变换（FFT），并且频率分辨率为200 /1024≈0.195Hz。由于在0.3秒内仅接收到60个新数据点，因此连续FFT中使用的数据存在大量重叠。将每个刺激频率的响应强度定义为其基频和二次谐波的幅度之和，其将被视为目标检测的特征。根据经验确定，检测阈值是4Hz和35Hz之间的振幅谱的平均值的两倍。如果最大强度超过阈值，则相应的按钮被视为受试者凝视的目标。为了提高可靠性，只有在几个连续的FFT中检测到相同的刺激频率时才进行选择。对于按钮ON / OFF，此数字为6，其他为4。所有用户使用相同的检测参数。

考虑到CRT监视器的刷新率仅为70.14Hz，在6和14Hz之间的频带内选择刺激频率。为了减少自发脑电图的干扰，可以减少频带的干扰 α 节奏被排除在刺激频率之外（见下文）。此外，所有刺激频率都是频率分辨率的奇数倍，因此一个刺激频率不可能是另一个刺激频率的两倍。我们实验中刺激频率之间的最小差异是频率分辨率的两倍; 即0.39赫兹。

C. 实验条件和任务

13名正常或矫正视力正常的志愿者（两名女性和11名男性）参加了实验。他们的平均年龄为24岁（10至39岁）。在实验之前，针对每个受试者记录闭眼的自发EEG，并计算平均幅度谱。高于4 Hz和35 Hz之间频谱平均值两倍的频带被认为是 α 节奏，并将被排除在刺激频率之外。

受试者舒适地坐在电脑显示器上。每个按钮的视角在水平方向上为1.9度，在60厘米的视距下为垂直方向上的2.6度。在实验开始时，每个受试者有三分钟适应眨眼刺激并记住每个按钮的功能。此步骤中未记录任何内容。

实验中的第一个任务是输入一个11位数的电话号码：13 901 075 272.虚拟键盘的初始状态是静态的。指示受试者通过使用按钮ON / OFF开始该过程，然后逐个输入数字。如果出现错误选择，则应通过BACKSPACE将其删除并再次输入，直到数字输入正确为止。输入完成后，通过选择ENTER传输数字。之后，受试者再次使用按钮ON / OFF停止刺激，并在不面向监视器的情况下等待三分钟，以查看是否会出现误报。

第二项任务是衡量信息传输率。BACKSPACE和ENTER的功能改为“输入字母A”和“输入字母B”。要求受试者输入24个随机排列的字母数字字符而不输入错误。这些字符包括十个阿拉伯数字，字母A和字母B; 每个角色出现两次。24个字符中的每一个的输入构成试验。使用不同的字符阵列在两个块的24个试验中测试每个受试者，块之间间隔3分钟。如果错误选择了按钮ON / OFF，受试者应该再次选择它并继续测试。

第三项任务是测试按钮之间的距离对传输速率的影响。按钮显示越来越紧密，直到它们之间没有间隙，并且受试者重复第二项任务的工作。水平距离和垂直距离对为3.2cm / 3.6cm，2.4cm / 2.7cm，1.6cm / 1.8cm，0.8cm / 0.9cm，和0cm / 0cm。按钮的大小没有变化。四名受试者进行了该测试。

D. 性能测量

通信系统的标准度量是比特率，即每单位时间传送的信息量。比特率取决于速度和准确性。如果每个试验有 $N$ 个种类， $P$ 用来表示准确率，并且如果其他（即，不希望的）种类中的每一个具有相同的被选择概率（即， $(1-P)/(N-1)$ ），然后比特率 $B$ 可以表达为:

\begin{matrix} (1) & B = l o g_{2} N + P l o g_{2} P + (1 - P) l o g_{2} [\begin{matrix} \frac{1 - P}{N - 1} \end{matrix}] \end{matrix}

$B=log_2N+Plog_2P+(1-P)log_2 \left[ \begin{array}{c} \frac{1-P}{N-1} \end{array} \right]\tag{1}$
关于（1）的更多细节可以在[1]中找到。

3 结果

表I PhoneNumber输入的结果。如果受试者在30秒内无法启动或停止刺激，则测试者将使用键盘执行此操作。显示了13个受试者中的7个的结果。表中的最后两个主题在测试中失败。 ← ：BACKSPACE。 ↙ ：输入。时间单位：秒

表II来自与表I相同的主题的信息传递速率。时间单位：秒。转移率单位：比特/分钟

在第一项任务中，十三个科目中的八个成功地敲响了手机，其他人失败了。任何科目均未发生误报。在第二项任务中，所有受试者的平均转移率为27.15比特/分钟。结果可分为三个等级。

好：六个科目的结果令人鼓舞。他们可以毫无错误地输入电话号码。在第二个任务中，在24个试验的每个块中发生零或一个错误。它们的平均传输速率为48.93比特/分钟（范围40.42比特/分钟至55.69比特/分钟）。

中等：另外两名受试者的结果是中等的。他们都成功完成了电话号码输入，但犯了一些错误。在第二项任务中，在24个试验的每个区块中，错误试验的数量在4到6之间。它们的传输速率为24.87位/分钟和19.22位/分钟。

坏：其余的表现是不可接受的。他们无法正确输入电话号码; 有些受试者甚至无法开始或停止刺激。在第二项任务中，输入精度不超过50％; 最低输入精度仅为16.7％。它们的平均传输速率为3.05比特/分钟（范围0.76比特/分钟至6.30比特/分钟）。

表I和表II显示了来自13个受试者中的7个的任务1和任务2的结果。在每个表中，第2行到第4行是良好结果的示例，第5行和第6行是中等结果，最后两行是不良结果的示例。

图4. 当按钮之间使用不同距离时，四个主体的表现。（a）总共24项试验中的错误试验次数（b）相应的转移率

图4显示了第三项任务中四名受试者的表现。为了保持传输速率不低于第二项任务的结果，GXR和GYH的最小距离为0 cm / 0 cm，DGY和CHM的最小距离为0.8 cm / 0.9 cm。结果表明，对于具有良好和中等结果的受试者，刺激可以更紧密地放置。

4 讨论

A. 信息传递率

BCI系统的传输速率取决于三个因素：选择的数量，准确度和速度。

目前，许多BCI被设计用于控制一维或二维光标移动。这种任务只需要两到四个EEG模式。增加基于VEP的BCI系统中的选择数量相对简单。[10]中介绍的系统可以提供多达64个用m序列调制的视觉刺激。一个受过植入电极训练的受试者达到10-12字/分钟的通信速率。在我们的系统中，每次试验都有12种可能的选择，这对于实现高传输率至关重要。任务三的结果表明，可以在较小的区域内放置更多的视觉刺激，从而可以进一步提高传输速率。使用具有高刷新率的LED或CRT监视器可以实现高刺激频率。

在任何实时系统中，都需要在准确性和速度之间进行权衡。在我们的系统中，只有在四个连续FFT中检测到相同的重复频率时才进行选择。为了提高速度，最好分别优化每个用户的检测标准。对于具有强SSVEP的受试者，可以使用更高的阈值，并且可以仅基于两个或三个连续FFT进行选择。此外，应使用先进的信号处理方法; 例如，预期背景大脑活动的预先白化会改善SSVEP的SNR [21]，[22]。

B. 适当的应用

基于SSVEP的BCI基本上是基于EEG的视觉跟踪系统。这些系统依赖于用户控制眼球运动的能力。此先决条件限制了可能的应用程序。例如，对于一些严重的ALS患者可能没有效果。

受试者可以在实验中移动头部并自由眨眼，但他们应该专注于任务。我们观察到，当受试者倾听其他人的谈话时，输入准确度会降低。

5 结论

由多个闪烁的视觉刺激引发的频率编码的SSVEP可用于确定眼睛被引导的位置。该方法用于构建可以帮助用户输入电话号码的BCI系统。用户可以在很少训练的情况下操作系统。十三名受试者中的八名在测试中给出了有希望的结果。当使用更多视觉刺激和更复杂的信号处理方法时，可以预期更高的性能，为每个用户单独优化。除了眼球运动之外，还有许多残疾人没有运动控制来进行交流。本文介绍的系统可以帮助他们达到可接受的沟通水平。未来的系统将减少对通用计算机的依赖。例如，LED可用于刺激设备，并且可以在专用数字信号处理器中实现数据分析。实用的系统将紧凑和便携。