Can Smaller Large Language Models Evaluate Research Quality?

文章核心内容与创新点总结

一、主要内容

1. 研究背景与问题：已知谷歌Gemini（1.5 Flash）、ChatGPT（4o和4o-mini）这类大型语言模型（LLM）对研究质量的评估分数，几乎在所有领域都与专家分数呈正相关，且在多数领域相关性强于引文指标，但较小规模的LLM是否具备该能力尚不明确。同时，现有具备该能力的LLM多为云端服务，存在成本高、隐私性不足、可能被停用或涨价等问题，因此需验证可下载的小型“开源权重”LLM的研究质量评估能力。
2. 研究对象与方法：以可下载的谷歌Gemma-3-27b-it（60Gb，270亿参数）为研究对象，基于英国2021年研究卓越框架（REF 2021）的数据集（含104,187篇论文，涵盖34个评估单元/广泛领域）展开研究。将论文标题和摘要输入模型，依据对应评估单元的专家评审指令，让模型对每篇论文进行5次独立评分（取平均值），并采用斯皮尔曼相关系数（结合Bootstrap法计算置信区间），在各评估单元内分别将模型分数与部门平均研究质量分数（作为专家个体论文分数的代理指标）进行相关性分析。
3. 研究结果
   • 相关性表现：Gemma-3-27b-it的分数在所有34个评估单元中均与专家分数代理指标呈正相关，其中30个评估单元的相关性具有统计显著性（例外为样本量较小的评估单元，论文数≤426篇），但其相关性强度整体低于ChatGPT 4o（为其83.8%）和ChatGPT 4o-mini（为其94.7%）。
   • 评分特征：该模型极少给出最低分（1