Evaluating Research Quality with Large Language Models: An Analysis of ChatGPT’s Effectiveness

本文是LLM 文章，针对《Evaluating Research Quality with Large Language Models: An Analysis of ChatGPT’s Effectiveness with Different Settings and Inputs》的翻译。

摘要

评估学术期刊文章的质量是一项耗时但对于国家研究评估活动、任命和推广至关重要的任务。因此，研究大型语言模型 （LLM） 是否可以在此过程中发挥作用非常重要。本文评估了哪些 ChatGPT 输入（没有表格、图表和参考文献的全文;标题和摘要;仅标题）产生了更好的质量分数估计，以及分数受 ChatGPT 模型和系统提示影响的程度。结果表明，最佳输入是文章标题和摘要，基于这些的平均 ChatGPT 分数（在 51 篇论文的数据集上进行 30 次迭代）与人类分数的相关性为 0.67，这是有史以来报告的最高值。ChatGPT 4o 略优于 3.5-turbo （0.66） 和 4o-mini （0.66）。结果表明，文章全文可能会混淆 LLM 研究质量评估，即使该任务的复杂系统指令比简单的指令更有效。因此，虽然摘要包含的信息不足以进行彻底的严谨性评估，但它们可能包含关于原创性和重要性的有力指导。最后，线性回归可用于将模型分数转换为人类量表分数，这比猜测准确 31%。

1 引言

2 方法

3 结果

4 讨论

5 结论

尽管是在一个有限的样本上，但结果表明，估计学术期刊文章的REF类研究质量的最佳策略是使用从未缩短的REF2021指令中导出的系统提示，然后将文章标题和摘要输入ChatGPT 4o 30次，然后应用回归公式将其转换为人体量表。这给出了一个与人类评估者规模相同的预测，并且与之具有很高的秩相关性（0.673）。然而