基于眼球追踪和脑电波EEG信号的学习者注意力量化

原文地址

一、引言

这篇文章是非侵入式课堂追踪系统（NiCATS 2021IEEE）的工作后续，本研究的重点是了解如何使用眼球追踪数据(例如平均注视次数)和脑电图(EEG)信号数据来测量学生的注意力，研究眼部数据与脑波信号之间是否具有相关性

首先，注意力是学习过程的第一步，是有选择性地集中在一个特定的信息上，而忽略其他可感知的因素的行为和认知过程Learning Assessment Using Brain-Computer Interfaces: Are Y ou Pay-ing Attention?
本文将探讨学生注意力和理解的不同方面(例如面部图像、眼动、脑电图信号)，以了解如何将这些输入聚合起来，训练一个机器学习模型(内置在NiCATS中)，以预测学习者的注意力模式。

二、用于注意力量化的BCI设备

在NiCATS中有提过，NiCATS是基于面部表情(通过网络摄像头捕获)、眼睛注视(使用安装在监视器下方的眼动仪收集的信息)和共同感兴趣的区域(来自屏幕截图)来测量注意力(主观定义，但始终应用的定义)，眼动仪如下图的Tobii Eye Tracker 4c。

图中的另外两款设备是NeuroSky神念科技的Mindwave mobile 2脑立方2代和Mindset意念耳机，都是非侵入式脑电设备，当使用者戴上时，可以捕抓其脑电波并输出脑电功率谱，两款耳机都使用了神念科技的ThinkGear通信驱动程序(TGCD)库，ThinkGear是一种单一的干式传感器技术，可以对用户大脑产生的脑电图信号进行测量、放大和过滤。结合NeuroSky的专利eSense™算法，它允许使用者量化各种EEG信号成分的强度。

三、数据收集

首先将网络摄像头和眼动仪装在每个学生端计算机的屏幕上，如图，眼动仪进行个人校准，并部署好客户端的软件。

然后每个学生都戴着一个单通道无线MindSet BCI设备。ThinkGear软件在COM端口上通过蓝牙发送数据，而BCI EEG客户端则从设备中获取流数据。
NiCATS收集网络摄像头拍下的面部表情，眼部数据以及屏幕截图，意念耳机则发送脑电波信号

• 面部表情图片：网络摄像头每隔5秒捕捉学生的图像
• 眼部数据：眼动仪检测扫视和注视，连续注视点被分为0.5s到15s之间不同时长的块
• 屏幕截图：当学生使用键鼠设备使得显示器内容发生显著变化时截图，若没有干预则每15s截一次图
• EEG信号：Mindset收集脑电图功率值（(alpha, beta, 等等），并且根据算法解释这些脑电图频带功率值的单位、振幅和意义，除了可以输出几个波段的脑波外，Mindset以及Mindwave还可以输出神念自家定义的专注度、放松度、眨眼强度等：
  

下图是非侵入式注意力追踪系统+脑机接口系统的工作流程图：

四、实验环节

1. 每位来自计算机学院的参与者的PC里安装了NiCATS客户端软件和Tobii眼动跟踪软件，Tobii眼动追踪软件针对个人进行校准以确保准确性。再安装好ThinkGear软件，参与者佩戴好MindSet耳机(通过蓝牙连接到计算机)。

2. 参与者会收到四个包含各种隐藏错误的Java源代码示例。代码示例与全屏图像同时显示，以便在参与者之间比较提取的眼睛数据模式。每个代码示例都包含三个到七个语法或逻辑错误，每个错误都代表了参与者在课程中会遇到的常见错误，如下图：
   

3. NiCATS客户端软件采集用户面部图像、眼球注视点和屏幕截图。BCI客户端收集脑电图功率谱、专注度、放松度和眨眼强度，所有数据都存储在数据库中。

4. 参与者被指示在测试结束时关闭NiCATS程序。

五、数据分析和结果解释

眼动数据与脑电图数据相关因素可以使用相关热图来可视化，在−1.0 ~ 1.0之间;“−1”表示负相关，“+1”表示强相关，接近0的相关因子表示没有相关性。