Zero-Shot Grammar Competency Estimation Using Large Language Model Generated Pseudo Labels

文章核心总结与翻译

一、主要内容

该研究针对语法能力评估中存在的标注数据稀缺、口语模态（自发、无结构、不流畅）处理困难等问题，提出了一种零样本语法能力评估框架。核心思路是利用无标注数据和大型语言模型（LLMs）生成伪标签，结合抗噪声训练框架训练基于Transformer的模型，实现对书面和口语两种模态语法能力的精准评分。

研究关键细节包括：

1. 数据构建：创建了两个工业级数据集（SGAD用于口语、WGAD用于书面语），包含无标注训练集和专家标注测试集，覆盖不同人口统计学背景的参与者。
2. 伪标签生成：基于语言专家设计的语法能力评分准则构建提示词，引导LLM（如GPT-4）为无标注数据生成伪标签，确保伪标签与人类评估标准一致。
3. 训练框架：提出自适应样本加权训练方法，通过动态调整样本权重（优先保留低损失的“干净”样本、下调噪声样本权重），有效缓解伪标签噪声带来的影响。
4. 实验验证：对比了BERT、ELECTRA、XLNet等骨干模型，验证了不同LLM生成伪标签的效果，分析了超参数α（干净样本比例）的敏感性，并通过与有监督/无监督基线及现有抗噪声方法对比，证明了该框架的优越性。

二、创新点

1. 零样本解决方案：彻底摆脱对人工标注数据的依赖，通过无标注数据+LLM伪标签的组合，实现低成本、可扩展的语法评估，适用于标注稀缺场景。