认知神经科学中实现多模态研究的几种方法

关注“心仪脑”查看更多脑科学知识的分享。

关键词：多模态、认知神经科学

1.引言

近年来，多模态(Multimodal)的概念在各行各业日渐升温，但由于其概念的相对复杂以及其概念在不同行业中都有各自不同方向的泛化，导致很多人对多模态还仅仅停留在耳熟的阶段。下面将结合本人的一些拙见和大家聊一聊什么是多模态，多模态研究如何进行。

 

2.概念

首先，我们需要搞清楚什么是模态(Modality)。这是一个非常复杂的概念,广义上说,一个模态即一个符号系统借助一个特定的感知过程而被识解。

仔细研究这个概念我们会发现模态这个词的词性其实更偏向是一个动词，而动词普遍有一个特点：通常该动词的主体和客体或者是包括主客体在内的语境会与动词同时出现。而且如果强制剥离一个动词的主客体或者相关语境，我们很难完整且具体的描述该动词的含义。例如 “打”这个词，在结合不同客体时会呈现不同的含义：“打人”、“打球”、“打车”甚至是“打一壶开水”。这也就是为什么我们在单独去理解模态这个概念的时候会感觉空、泛。

故而，为了更直观的理解和应用，我们需要同时把定义与其主客体结合起来，即谁来识解以及谁被识解。例如人作为主体，该定义与人的感觉通道相结合可得出视觉模态、听觉模态等不同的模态；而若计算机作为主体，则同理可结合不同的信息获取方式得出各种不同的模态。

理解以上概念之后，多模态顾名思义，就是指多个模态的整合。

3.认知神经科学领域的多模态

认知神经科学领域的研究中，实验数据的采集一般为以下模式：