Making Sense of Korean Sentences: A Comprehensive Evaluation of LLMs through KoSEnd Dataset

文章主要内容总结

本文聚焦于韩语（一种黏着语）的句尾特征，旨在评估大型语言模型（LLMs）对韩语句尾的理解能力。主要内容包括：

1. 研究背景：LLMs在英语等字母语言中表现优异，但在低资源黏着语（如韩语）中因形态复杂（句尾变化影响句意）存在不足。韩语中，动词词干可结合不同句尾表达陈述、感知、感叹等多种含义，句尾的细微变化会显著改变句意。

2. KoSEnd数据集构建：

   • 包含3000个句子，分“简单”（语言学习者语料）、“中等”（新闻语料）、“困难”（学术论文摘要）三个难度等级。
   • 每个句子扩展为15种句尾形式（9种陈述式、6种命令式），并通过“两阶段标注”（人工标注+LLM辅助标注）确保句尾使用的自然性。

3. LLMs评估：

   • 评估了11个LLMs（包括Llama系列、Qwen2、Gemma2及韩语微调模型如KULLM3、EXAONE3）。
   • 设计两个任务：SE-always（假设存在合适句尾）和SE-absent（允许句尾缺失）。结果显示：所有模型在SE-absent任务中表现更优；韩语微调模型（如Llama3-ko、KULLM3）一致性更强，整体性能更好；参数规模与句尾理解能