Evaluating Research Quality with Large Language Models: An Analysis of ChatGPT’s Effectiveness

本文是LLM 文章，针对《Evaluating Research Quality with Large Language Models: An Analysis of ChatGPT’s Effectiveness with Different Settings and Inputs》的翻译。

摘要

评估学术期刊文章的质量是一项耗时但对于国家研究评估活动、任命和推广至关重要的任务。因此，研究大型语言模型 （LLM） 是否可以在此过程中发挥作用非常重要。本文评估了哪些 ChatGPT 输入（没有表格、图表和参考文献的全文;标题和摘要;仅标题）产生了更好的质量分数估计，以及分数受 ChatGPT 模型和系统提示影响的程度。结果表明，最佳输入是文章标题和摘要，基于这些的平均 ChatGPT 分数（在 51 篇论文的数据集上进行 30 次迭代）与人类分数的相关性为 0.67，这是有史以来报告的最高值。ChatGPT 4o 略优于 3.5-turbo （0.66） 和 4o-mini （0.66）。结果表明，文章全文可能会混淆 LLM 研究质量评估，即使该任务的复杂系统指令比简单的指令更有效。因此，虽然摘要包含的信息不足以进行彻底的严谨性评估，但它们可能包含关于原创性和重要性的有力指导。最后，线性回归可用于将模型分数转换为人类量表分数，这比猜测准确 31%。