老年人多模态交互与口腔健康数据集成研究
1. 老年人与 MIGSEP 系统交互实验
1.1 MIGSEP 系统在医院环境中的应用
MIGSEP 系统被应用于医院环境,用户可通过语音与系统交互。例如,有用户希望被引导至心脏病科找名为 Wolf 的医生,图 7 展示了用户与 MIGSEP 系统的交互场景以及他们之间的示例对话。
1.2 实验研究
1.2.1 参与者
共有 31 位老年人参与研究,其中男性 18 人,女性 13 人,平均年龄 70.7 岁,标准差 3.1 岁,他们均为德国母语者。15 位参与者使用语音输入,16 位使用触摸输入。所有参与者都完成了简易精神状态检查表(MMSE),平均得分 29.0(标准差 0.84),处于可接受范围,表明他们的认知功能基本正常。
1.2.2 刺激与设备
除了触摸和语音输入方式不同外,其他刺激条件相同。触摸输入通过笔记本电脑的触摸屏实现,语音输入需按下按钮且绿灯亮起时激活。视觉刺激由绿灯和图形用户界面提供,音频刺激作为补充反馈,通过两个扬声器以可感知的音量播放。所有任务以关键词形式呈现在类似日历的系统页面上。实验使用了包含普通医院人员、房间和部门虚拟信息的同一数据集。实验过程中,每位参与者由一名调查员陪同,调查员在开始时进行介绍和明确指导,并在必要时提供帮助。MIGSEP 系统的自动内部记录器用于收集实时数据,Windows 标准音频记录程序记录整个对话交互过程。每位参与者需通过基于五点李克特量表的评分系统填写一份关注用户满意度的问卷,问卷包括系统行为、语音输出、文本输出、界面展示、任务执行、用户友好性和用户视角七个类别。