读多模态眼凝视控制界面的应用有感

模态是心理学领域中的一个标准术语，指感知信息的感觉，也就是感觉模态。

所谓多模态人机交互，就是基于智能接口技术，充分利用人的多种感知通道，以并行的、精准的方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。多模态人机交互技术所涉及的研究范围包括感知模型，语音识别，手写识别，姿势识别，表情识别，眼动追踪，自然语言理解，触觉感知与表示，多模态通道信息融合，高性能视觉和听觉处理平台等。

这里我们要来谈一下多模态眼动追踪系统的应用。
一、操纵杆与Leap motion
《The Wiley Handbook of Human Computer Interaction》中对操纵杆和Leap motion进行比较试验发现，用户更倾向于Leap motion下的多模态眼动追踪系统，而不是操纵杆下的多模态眼动追踪系统。这是因为用户使用基于Leap motion的系统可以比基于操纵杆的系统更快地进行指向和选择任务，更能追踪视线。这是因为操纵杆需要在X-Y平面上有光标的情况下，否则就很难进行选择，而且用户对于操纵杆切换模式也很陌生，这都为操纵杆的使用造成了局限，使用户的感知负担加重。而Leap motion的使用方法则相对简单很多，因为有一个单独的硬件开关可供进行选择，用户只需要把手放在Leap motion的上方，然后拿开，使用视线追踪，就可以轻松地切换模式。要说缺点，那么Leap motion存在延迟在某些其他的方面可能就更为吃亏了。

二、地图浏览
你是否设想过只用眼睛，释放双手就可以进行地图的浏览？
这里我们就来介绍一下眼动追踪在地图浏览中的神奇效果。当想要查看屏幕的左边缘，你的眼睛就会盯着左侧，那么地图会自动向右滚动。当你盯着地图上的某个特定点一直看，它就会放大显示。当你有意识的眨眼的时候，地图会缩小。这里我为什么提及“有意识”三个字呢？大家都知道眨眼在医学上分为两种，其中最为频繁发生的就是不自主的眨眼运动，也就是我