DSGram: Dynamic Weighting Sub-Metrics for Grammatical Error Correction in the Era

本文是LLM系列文章，针对《DSGram: Dynamic Weighting Sub-Metrics for Grammatical Error Correction in the Era of Large Language Models》的翻译。

摘要

评估语法错误纠正（GEC）模型的性能变得越来越具有挑战性，因为基于大型语言模型（LLM）的GEC系统经常产生与提供的黄金参考不同的纠正。这种差异破坏了传统基于参考的评估指标的可靠性。在这项研究中，我们提出了一种新的GEC模型评估框架DSGram，整合了语义连贯性、编辑级别和流畅性，并利用了动态加权机制。我们的框架采用层次分析法（AHP）结合大型语言模型来确定各种评估标准的相对重要性。此外，我们开发了一个包含人类注释和LLM模拟句子的数据集，以验证我们的算法并微调更具成本效益的模型。实验结果表明，我们提出的方法提高了GEC模型评估的有效性。

1 引言

2 相关工作

3 GEC的动态加权子指标

4 实验和分析

5 讨论

6 结论

本研究提出了一种语法纠错模型的评估框架，该框架通过动态加权系统整合了语义连贯性、编辑水平和流畅性。通过结合AHP和LLM，我们开发了一种方法，可以根据上下文动态调整不同评估标准的重要性，从而进行更细致和准确的评估。
通过广泛的实验，我们的方法已