9、多模态交互：解锁沟通与学习新境界

多模态交互：解锁沟通与学习新境界

1. 多模态交互概述

多模态交互允许人们单独或组合使用两种或多种输入方式，如语音、笔输入、触摸、手势和凝视等。人际交流本质上就是多模态的，因此人们在使用计算机时也更倾向于采用多模态进行沟通。

多模态的主要优势在于提升了数字工具在不同情境下对不同用户的表达性、灵活性、可访问性和可用性。它继承了各组成模态的特点与优势，像笔输入可传达不同的表征，语音输入则适用于协作对话。多模态界面还能减轻人们的认知负担，使人能将精力保留用于困难任务和高级推理，尤其适合促进学习活动。

1.1 多模态通信的演变与优势

多感官处理和通信由多模态神经元和多感官汇聚区域支持，这是人类大脑的基本设计特征。多感官处理对人类的感知、注意力、语言、记忆、学习和其他行为有着广泛的控制作用。过去一个世纪最显著的神经科学发现之一是多模态镜像神经元系统，它包括视觉和听觉类似物。

镜像神经元和回声神经元共同支持对动作表征的多模态访问，扩展了人类语言处理的灵活性。例如，手势和语音在集成的多模态通信系统中相互协调。

多感官处理的整合效应如今被视为常态且普遍存在。大量研究证实，个体模态在处理过程中会合并，感官之间的非线性交互效应占主导地位。以下是一些相关的实证效应：
| 效应名称 | 描述 |
| — | — |
| 空间规则 | 当两个信号处于同一位置或物理距离较近时，多感官整合更有可能发生，且效果更强 |
| 时间规则 | 当两个信号同时发生或在给定的时间窗口内发生时，多感官整合更有可能发生，且效果更强 |
| 模态主导效应 | 大脑在整合感官信号时，会更看重能提供更可靠和敏锐感知信息