39、阐释性话语中的多模态协作研究

阐释性话语中的多模态协作研究

研究背景与方法

在研究阐释性话语中的多模态协作时，实验采用了三台摄像机进行记录。第一台摄像机（索尼HXR - NX30P，1920x1080全高清，25帧每秒，配备ECM - XM1枪式麦克风）从侧面拍摄两名参与者，另外两台摄像机内置在眼动追踪眼镜中，用于获取每位参与者的正面视角。在完成眼动追踪器和动作捕捉的校准后，参与者开始交流，每对参与者的交流时间限制为30分钟。

分析材料使用的工具包括：注释软件ELAN（马克斯·普朗克心理语言学研究所）、动作捕捉软件AxisNeuron和眼动追踪软件Tobii Pro Glasses Controller。实验中编制了一个时长640分钟的语料库，在这项初步研究中，使用了一个时长46分钟的多模态语料库，该语料库由28个协作（联合行动）单元或阐释性话语中同一类型的问题解决任务组成。

研究采用多模态分析方法，对两种类型的交际动作进行注释，即言语动作和非言语动作。注释的言语动作有五种类型：直接言语请求、言语回应、共同话题阐述动作、新话题阐述动作和间接言语动作。确定这些动作时，依靠话语标记和语言线索。同时，注释的非言语动作有三种类型：建立接触的手势、面向面部的注视以及建立接触的手势和面向面部的注视的组合。

编码注释过程在ELAN中进行。在ELAN中创建了多个层级，分别显示左右对话者的直接言语动作、间接言语动作、手势动作和注视动作。

在确定语料库中动作的频率时，识别的是每种言语动作类型和每种非言语动作类型同步使用的情况，而非它们单独使用的情况。本研究未考虑不伴随言语动作的非言语动作使用情况。由于初步注释的语料库规模不大，主要使用描述性统计方法来探索言语和非言语交际动作，但为了检验假设