Evaluating Research Quality with Large Language Models: An Analysis of ChatGPT’s Effectiveness

本文是LLM 文章,针对《Evaluating Research Quality with Large Language Models: An Analysis of ChatGPT’s Effectiveness with Different Settings and Inputs》的翻译。

使用大型语言模型评估研究质量:分析Chatgpt在不同设置和输入下的有效性

摘要

评估学术期刊文章的质量是一项耗时但对于国家研究评估活动、任命和推广至关重要的任务。因此,研究大型语言模型 (LLM) 是否可以在此过程中发挥作用非常重要。本文评估了哪些 ChatGPT 输入(没有表格、图表和参考文献的全文;标题和摘要;仅标题)产生了更好的质量分数估计,以及分数受 ChatGPT 模型和系统提示影响的程度。结果表明,最佳输入是文章标题和摘要,基于这些的平均 ChatGPT 分数(在 51 篇论文的数据集上进行 30 次迭代)与人类分数的相关性为 0.67,这是有史以来报告的最高值。ChatGPT 4o 略优于 3.5-turbo (0.66) 和 4o-mini (0.66)。结果表明,文章全文可能会混淆 LLM 研究质量评估,即使该任务的复杂系统指令比简单的指令更有效。因此,虽然摘要包含的信息不足以进行彻底的严谨性评估,但它们可能包含关于原创性和重要性的有力指导。最后,线性回归可用于将模型分数转换为人类量表分数,这比猜测准确 31%。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值