20、英语能力评估与对话管理新方法探索

英语能力评估与对话管理新方法探索

英语学习者口语能力评估研究

研究背景与数据收集

在英语学习和教学领域，准确评估学习者的口语能力至关重要。为了实现这一目标，研究人员使用了 InteLLA 系统对 56 名日本英语学习者进行了在线访谈。这些学习者均为大学生，英语水平参差不齐。

访谈借助视频会议工具 Zoom 进行，每个学生需要讨论 7 个不同的访谈话题，平均每次访谈时长为 9 分钟。尽管在线对话与面对面交流在本质上有所不同，但已有研究表明，这两种模式下的口语评估结果具有相似性。

访谈结束后，研究人员让学生使用 5 点李克特量表对访谈进行主观评价，主要评估系统对每个用户的适应程度以及系统对用户能力的测量效果。前者通过用户认为问题难度的合适程度来衡量，后者则通过用户是否能够充分展示其语言能力来判断。同时，还通过自由形式的问卷收集了他们评价背后的原因。

此外，每个访谈由人工评分员使用欧洲共同语言参考标准（CEFR）进行评分。该标准将“交际语言能力”分为 6 个等级：A1、A2、B1、B2、C1 和 C2，其中 A1 代表最低水平，C2 代表最高水平。整个数据集由一位在 CEFR 评分方面经验丰富的评分员进行标注。由于只有两名学生处于 C1 和 C2 水平，因此将他们排除在进一步分析之外。为了衡量评分员之间的一致性，研究人员请另一位评分员对包含 20 名学生的数据集子集进行标注，计算得出的二次加权 κ（QWκ）值为 0.753。

增量预测模型

为了捕捉在访谈过程中逐步决策的过程，研究人员使用了长短期记忆（LSTM）神经网络。该模型的输入特征是从之前关于独白和对话评分的研究中选取的，同时结合了对标注过程的分析。这些特征涵