本文是LLM 文章,针对《Evaluating Research Quality with Large Language Models: An Analysis of ChatGPT’s Effectiveness with Different Settings and Inputs》的翻译。
摘要
评估学术期刊文章的质量是一项耗时但对于国家研究评估活动、任命和推广至关重要的任务。因此,研究大型语言模型 (LLM) 是否可以在此过程中发挥作用非常重要。本文评估了哪些 ChatGPT 输入(没有表格、图表和参考文献的全文;标题和摘要;仅标题)产生了更好的质量分数估计,以及分数受 ChatGPT 模型和系统提示影响的程度。结果表明,最佳输入是文章标题和摘要,基于这些的平均 ChatGPT 分数(在 51 篇论文的数据集上进行 30 次迭代)与人类分数的相关性为 0.67,这是有史以来报告的最高值。ChatGPT 4o 略优于 3.5-turbo (0.66) 和 4o-mini (0.66)。结果表明,文章全文可能会混淆 LLM 研究质量评估,即使该任务的复杂系统指令比简单的指令更有效。因此,虽然摘要包含的信息不足以进行彻底的严谨性评估,但它们可能包含关于原创性和重要性的有力指导。最后,线性回归可用于将模型分数转换为人类量表分数,这比猜测准确 31%。