脑机接口EEG数据标准化

数字对象标识符 10.1109/MCE.2016.2556838 出版日期：2016年8月10日

The IEEE脑计划与消费技术协会（CTA，原消费电子协会）致力于推动脑科学研究、开发与商业化。CTA近期对脑电图（EEG）信号数据互操作性的标准化，促进了在互联网环境下面向消费者的脑技术发展。新兴的脑机接口（BCI）消费产品加速了新工具的开发，使其能够无缝融入康复、教育和娱乐领域。人们注意到，尽管其中一些发展通过合作得以繁荣，但另一些则趋于泛滥。为了持续推进脑机接口耳机领域的商业化进展，行业有必要对EEG脑信号采集进行标准化，建立开放数据库，以实现通过互联网进行数据交换。本文提出了脑状态的基本协调及其与脑电信号关联的问题，以支持大数据分析和物联网连接。本文旨在以标准EEG数据取代专有格式，并探讨了CTA内部正在进行的标准化工作的进展与挑战。

背景

CTA医疗保健标准委员会R6 SC4 WG3于2015年9月16日启动了EEG数据互操作性规范的制定工作。委员会主席尼玛·比格德利‐沙姆洛与Qusp公司的克里斯蒂安·科特以XDF开源软件接口规范作为第#2060号标准系列的初始文档，具体如下：
▼ #2057，本地传输—实验室流媒体层（LSL）
▼ #2058，事件描述—分层事件描述符（HeD）
▼ #2059，用户脑状态描述
▼ #2060，文件存储—扩展数据格式（XDF）
▼ #2061，组级元数据封装—EEG研究模式（eSS）

脑电图数据交换网络流的结构和范围如图1所示。图中以红色标注的推荐标准大多来自开源。这些标准不仅促进了脑机接口本地访问与处理的数据流架构，还通过互联网支持大数据分析，为全球处理提供了前景。比格德利‐沙姆洛在2015年11月5日的一次报告中指出，由美国陆军研究实验室主导的初步脑科学研究已通过756次记录会话（16项研究）积累了855GB数据。

脑状态应如何描述？

呼吁在数据收集和研究中标准化脑状态描述。

互联网中的脑电图数据流

脑电图数据配置文件可通过图1中金色星号（*）所示的各个接口获取。大多数脑科学研究/产品都集中在图1中虚线圆圈所示的脑机接口上。脑电图数据可通过红外线、蓝牙或无线网络局域网设置进行传输，这些数据可来自电极帽上的多达72个传感器，也可来自消费级耳机上的单个传感器。然而，没有理由就此停止在局域网内，不将脑电图数据传输到广域网进行分布式处理。如果消费级头戴设备基于标准数据交换协议开发，以便在互联网云中进行进一步的数据分析，则将大有裨益。

为了开放且独立的研究目的以及互操作性，脑电图信号配置文件应在图1中标有金色星号的六个可能位置进行保存和展示：
▼ 头戴式设备传感器的输出
▼ 输入至脑电图处理器
▼ 输入至存储单元
▼ 通过互联网远程访问脑电图处理器
▼ 应用处理器对游戏机、智能手机、智能手表、3D眼镜、平板电脑等设备上的脑电图处理器的访问
▼ 向用户显示。这些接口可以位于硬件、软件、平台中 an integrated server, or in the server cloud.

值得注意的是，逻辑单元和物理单元不一定需要分离，如图1所示；处理的分布式特性可以使得脑电图、应用和可视化处理在同一单元或不同单元中进行。当标记为金色星号的六个位置分布在互联网各处时，数据同步和非相关智能[3],[4]方面就会出现挑战。由于需要实时采集，该任务在脑机接口中变得不可行。人们不禁意识到，存储了大量标准化脑电图谱的脑电图信号数据库具有显著的统计意义，并配备了易于访问的更新、搜索和自学习工具。

从用于脑机接口（BCi）或脑‐机器接口（BMi）的传统传感器中提取的原始脑电信号，在很大程度上依赖复杂的算法处理来弥补其微弱的信号相关。几十年来，人们创建了数百种具有各种假设和复杂性的方法，其准确率在严格控制的环境下大致介于60%到90%之间。人们对脑电图数据可靠性仍缺乏信心，许多脑部状况诊断后的数据被无序存放（甚至被丢弃）。此外，由于存在不一致性，许多测试引入了其他生理和环境因素，以反映仅靠脑电图数据无法描述脑状态的情况。

众所周知[3]，头皮周围的不需要的伪迹（包括眼部[13]和肌肉运动、汗液、声音、光线以及周围环境）会降低脑电信号的信噪比。噪声通道还可能通过普通的平均参考算法污染脑电图数据处理过程。也就是说，脑电信号可能会因波长、信号成分、传感器数量和传感器类型的选择，以及预处理和后处理算法、时段等因素而发生变化。一些生理条件，如年龄、性别以及受伤大脑与健康大脑的差异，也在描述脑状态方面起到一定作用。

使用非侵入式传感器采集的原始脑电图数据尤其具有挑战性。目前一些商用脑电图产品已在冥想市场占据一席之地，令人钦佩[14],[15],[18]。它们大胆的方法在应对模糊的脑电图采集中取得了成功并在市场中生存下来，而这些数据通常会被大多数学术或临床研究舍弃。这些商用实现避免了为鲁棒性算法处理（寻求脑读逆问题解决方案[10]）付出高昂代价，同时通过其他巧妙的增强功能来补充其在医疗保健和游戏中的应用。利用商用产品留下的空白，保留不同处理阶段的原始脑电信号，对于未来脑电信号的确认和模式识别变得尤为重要。此外，在去除所有外部因素后，也有可能确定脑电图与大脑状态的相关性（或无关性）。

大脑状态

在图2中提出了一种将脑电信号与脑状态关联的结构。为了从简单开始，一些脑状态被分为三个阴影区域：认知、情绪和记忆，如图2所示。病态大脑与健康大脑相比应表现出不同的脑电信号；因此前者用位于后者后方的一个阴影盘表示。消费级耳机所捕获的脑电信号已根据制造商的解释被描述为注意力或冥想这两种脑状态——这两个术语非常流行但属于科学上定义模糊的术语。其他脑状态，如喜欢或不喜欢，已被通过按键输入用于社交媒体。这是合理的，因为大脑可以通过说话、眨眼、微笑/皱眉、竖起或放下拇指的手势，或其他人类生理或生物方式直接发出这两种普遍状态（喜欢或不喜欢）的信号。

另一方面，通过植入大量传感器的脑帽捕捉到的脑电信号不仅与大脑状态相关，还与识别电脑键盘上的字母或由脑部运动意象驱动的轮椅指令有关，如图2底部一行左侧所示，这将脑状态的范围扩展到了情绪之外。

关于脑状态的许多更深入的讨论已在神经科学文献[11], [12]中发表。规范#2059的目标并非完全阐明和定义所有已知的脑状态，而是聚焦于一些相对公认且可用于与脑电图数据采集相关联、并在互联网上进行后续检索的脑状态。首先，数据库的建立：这一尝试直到2015年才在公共领域展开。

建议规范#2059从通过测试预先定义的一般状态开始，例如正面或负面、感兴趣或不感兴趣、喜欢或不喜欢、活跃或不活跃等二元模式。这些状态可以简单地表示为一种模式（是）及其反面（否）。目前商业脑机接口耳机已产生诸如注意力或冥想等脑状态，尽管这些状态具有一定对比性，但由于不同产品所采用的预处理算法和资格假设不同，在跨产品比较时可能造成混淆。此外，一些商业公司声称在过去十年中已积累了庞大的脑数据库。为何不将这些分散的数据库与陆军研究脑数据池的855 GB数据合并，以提供更具统计意义且可供公众使用的数据？缺乏标准化是当前的主要障碍。

根据规范#2060及本系列中的其他规范，需要对更多的脑电信号进行 proper 封装。

数字对象标识符 10.1109/MCE.2016.2556838 出版日期：2016年8月10日

在CTA R6 SC4 WG3委员会内正在开发的标准。脑电数据库（在大数据背景下）的样本越多，可检索到的数据就越可靠，从而实现统计丰富的模式匹配，以识别脑状态。一旦采用可共享的脑电信号数据格式，像上述建议的四种简单词汇表就可以得到扩展。行业或许应制定一种标准便携式脑电信号采集工具，以确保脑电图以同步且协调的格式上传。

关于脑状态的争论

很容易质疑图2中提出的方法和术语。在神经心理学及其他领域存在着大量模型。一些脑状态的描述已经通过测试以及从大脑、面部和语音识别[5]–[9]中衍生出的系统进行了分类：
▼ 拉塞尔模型：惊讶、兴奋、快乐、平静、困睡、抑郁、悲伤和紧张
▼ 面部动作编码系统（FACS）：愤怒、厌恶、恐惧、喜悦、悲伤和惊讶
▼ 复杂高速物体识别引擎（SHORe）：快乐、悲伤、愤怒、惊讶和中性；还包括愉快、抑郁、好斗、震惊等风格

社交媒体通过网络、摄像头以及即将推出的新游戏互动电影捕捉情绪，这些互动电影通过用户的自愿输入（例如使用键盘或其他控制设备进行同意或不同意、喜欢与不喜欢、点赞与点踩等操作）来记录情绪反应，而无需依赖脑电信号。此外，有趣且简单的图形表情符号[16]也成为用户自身表达普遍情绪的另一种工具。

描述脑状态的这些词汇可能会在医生、精神科医生和人文学家之间引发无休止的争论，更不用说那些试图测量窄通道脑电信号以描绘用户脑状态的科学家和工程师了。问题仍然存在：脑状态应如何描述？此外，仅凭脑电图数据能够描述多少种脑状态？

复杂的算法研究在以自身的节奏持续推进，致力于提取微弱脑电信号。使用消费级头戴设备以非实时方式收集注意力和冥想相关的不一致脑电图数据仍在继续[14], [15],[18]。公众访问机会较少。一些示例结合了来自头戴设备的脑波（频带：a、b、D、c、n 和 i），并在各自的营销手册中进行了展示，以下为逐字摘要：
▼ D（1–4 Hz）振荡——在高度情绪状态或睡眠阶段……做梦
▼ i（4–7 Hz）振荡——类似于 Δ波，平静、放松……睡眠
▼ a（8–12 Hz）振荡——平滑模式，清醒平静，闭眼放松……警觉
▼ n（8–13 Hz）振荡——来自感觉运动皮层……移动手脚
▼ b（12–30 Hz）振荡——去同步化，正常清醒睁眼，忙碌，翻腾，集中注意力……休息
▼ c（25–100 Hz）振荡——来自体感皮层——忙碌，翻腾，集中注意力……

上述启发式方法并未使清晰脑状态的描述变得容易。脑状态并非仅通过具有离散频率的单个频段来反映。究竟是否可能简单而唯一地描绘出消费者脑状态？如果对此存疑，则应以原始形式保存脑电图测试结果，以便进一步证明脑电图在描述脑状态方面的有效性。

另一方面，状态的选择应保持简单，并交由应用程序进行操控，即使是用于康复的特殊效果也是如此。人们希望应用程序不会受限于平静与放松之间的情绪细微差别，而只需寻找能够反映相反情绪的显著变化即可。因此，表明正面或负面并关联先验状态的状态，可以通过其各自的脑电图特征中明显的差异更可行地被观察到。这种二元模式方法可以使脑电信号的数据设计、存储和检索对任何状态都变得可行，同时该状态将关联一组在各种模式中表现出来的脑电信号集合，以便通过互联网共享并携带合法的元数据。预计针对规范#2057、#2058、#2060和#2061所付出的努力将有助于为#2059奠定基石，以首先在刺激下提供有用、一致且综合的脑数据。同样明显的是，如果没有#2059，标准化将陷入困境，无法 readily 为商业连接应用做出贡献。

因此，建议由独立应用来定义脑状态。脑状态的描述可分别带有代表积极、消极、病态和健康脑状态的标签 P、N、S或W。按照未来规范#2059中将要描述的格式结构，可以在大数据背景下建立数据库，处理来自各种采集来源的脑电图数据库。

其他网络注意事项

图1中的标签(2)、(3)和(4)解释如下：
标签(2)促进用于近实时处理的大数据分析，以实现脑状态（变化）的动态识别。
标签(3)限制在脑电数据处理中使用隐私信息，用户私人信息应从云端脑电数据库中删除。元数据结构正在审查中，以符合规范#2060，Qusp已提议将XDF作为数据存储格式[17]。
标签(4)允许通过计算机键盘、轮椅控制按钮、游戏机、智能手机、智能手表、3D眼镜等机制触发应用程序事件。这些应用增强功能由创新开发者自行选择，不在标准化范围内。

用户状态描述规范#2059的要求

脑状态很难用普通且明确的词汇来描述。另一种方法是将每种脑状态关联通过测试大量用户的标准化脑电信号特征，以简单区分二元模式。诸如“平静、放松、睡眠”或“清醒、平静、警觉”等模糊描述，存在不确定性、矛盾和重叠的含义，需由应用程序自行解释。建议规范#2059从输入给出的已知状态开始（例如商业头戴设备使用的专注与冥想，或社交媒体投票中使用的喜欢与不喜欢），并为每种状态收集大量的脑电信号。每种状态都应分别在受损大脑和健康大脑上进行测试，同时避免使用细微或重叠的状态描述。换句话说，应在用户标识的状态之上，基于数据库分类中收集的脑电信号，创建一种二元模式的数字描述符。

规范#2059要求建立其他标准规范以实现互操作性：
▼ 利用LSL（#2057）进行脑电图数据联网
▼ 利用 HeD（#2058）进行脑电图数据模式匹配
▼ 利用XDF（#2060）进行脑电图数据存储
▼ 利用eSS（#2061）实现脑电图数据的一致性和完整性。

在此阶段，#2059 规范在优先级上让位于其他规范；然而，如果没有 #2059 的工作，其余的标准化工作本身将无法通过互联网促进有效的成果共享。在脑电图数据能够对现实生活应用产生意义之前，所有这些规范都必须被采纳。否则，脑健康护理和脑通信的进步将继续受限于本地化研究努力和有限的财务资源。

2060 的开发已历时六个多月，最终可能会产生两份文件，分别用于强制性和实施目的。其他规范需要从当前 R6 SC4 WG3 之外获取额外资源，以推动进展。在已经指出描述脑状态存在困难的情况下，探索脑状态的其他维度或描述符可能是回答“脑状态应如何描述？”这一问题的第一步。

摘要

本文介绍了CTA R6 SC4 WG3标准组最近建立的关于用户状态描述的活动和平台，以及标准文档#2059的相关内容。配备脑机接口（BCi）设备并利用脑电图（eeG）读数的消费电子产品正在不断涌现。为了加快脑机接口技术在未来研究和产品市场接受度方面的进展，数据互操作性的标准化至关重要。文章阐述了大脑状态及其定义可能引发的争议，进而引出收集具有统计意义的脑电图谱的需求。随着一致且可靠的脑电图数据在康复、教育、娱乐、消费者营销和通信等多个领域得到共享，新的应用将蓬勃发展。

大脑状态可用二进制模式标记为病态或健康大脑。根据 CTA规范#2057–2061，从多个来源收集脑电图数据建立的脑状态数据库，可使脑电图可在互联网上用于多学科消费应用的可分类、可用和可共享数据。在元数据中基于先前的用户状态添加二进制描述符，是一种促进脑数据库共享的抽象。