【论文通读】Automated Peer Reviewing in Paper SEA: Standardization, Evaluation, and Analysis

前言

一篇关于长文本大语言模型应用的相关工作，面向于自动化论文评审领域。作者提出了一个新颖的自动化论文评审框架，解决了当前大语言模型无法为论文生成有全面有价值评审意见的同时，又为自动化论文评审领域定义了一个新的评估指标。该项目不仅在工作量上投入巨大，更在创新性和应用性方面达到了新的高度，为科研工作者提供了强有力的工具，显著提升了他们的工作质量。

Paper	https://arxiv.org/pdf/2407.12857
HomePage	https://ecnu-sea.github.io/
Code	https://github.com/ecnu-sea/sea

Abstract

当前，学术论文的激增对传统评审机制造成了严重的冲击，造成出版物质量不一。尽管现有的方法已经探索利用LLMs进行自动化评审，但是往往生成片面或泛泛的内容。为此，本文提出自动化论文评审框架SEA，包含三个模块：标准化，评估和分析，分别对应着三个模型SEA-S，SEA-E和SEA-A。SEA-S蒸馏GPT-4的数据整合能力获取高质量的评审整合意见。SEA-E基于这些数据微调得到，从而可以生成高质量的评审意见。最后，SEA-A引入了一个新的评估指标名为mismatch score，用于分析文章与评审内容的一致性。基于此，作者设计了一个自我修复策略来增强这种一致性。在八个领域数据集上的实验表明SEA可以生成有用的评审意见，来帮助作者提高他们文章的质量。

Motivation

科学出版物的快速增长为传统的科学评审带来挑战，造成如下问题：

1. 增大了同行评审的压力。
2. 质量不一的工作会对科研环境产生负面影响。

因此急需一个自动化论文评审框架来帮助作者提升工作质量。
但是自动化论文评审并不容易，传统的语言模型无法handle这个问题，基于LLMs由于出色的NLU能力和长文本能力为自动化论文评审带来了可能。现有基于LLMs的工作分为两个方向：

1. Prompt工程。
2. 同行评审数据微调。

前者只能生成低质量的generic意见，后者由于SFT时只利用一个评审标签，生成的意见往往是部分且片面的（如下图所示）。

Solution

本文提出一个新颖的自动化评审框架SEA，包括三个模块：标准化，评估和分析。如上图所示。

• 标准化模块： 通过蒸馏GPT-4的整合知识得到整合模型SEA-S，SEA-S将一篇文章对应的所有评审整合为一个评审意见。
• 评估模块： 利用标准化模块的高质量评审标签和原始的文章构建指令微调数据集，训练得到评审模型SEA-E。
• 分析模块： 训练一个回归模型SEA-A用于分析生成意见与原始文章的一致性得分，基于此引入自我修复机制来帮助SEA重新生成更一致的审稿意见。

SEA

SEA-S

为了让LLMs具有审稿能力，一个高质量的SFT数据集是必不可少的。然而现有的同行评审数据集的评审标签具有两个特点：

1. 一篇文章对应多条评审，不同评审根据其领域或知识提供片面的意见。
2. 不同领域的评审风格各异，不统一直接SFT会导致不一致性。

为了解决上述问题，作者考虑将一篇文章的所有reviews整合为一个review，这样的review不仅内容丰富，同时统一了格式。
具体来说，作者先尝试使用不同闭源和开源的模型基于特定的指令进行整合，发现只有GPT-4可以达到理想的效果，但是GPT-4的成本高，且不具有扩展性。为此，作者先随机sample 20%的评审数据用GPT-4进行整合，然后将整合得到的review作为label，原始的多条review作为input，构建SFT数据集来微调开源模型Mistral-7B。这种方法通过蒸馏GPT-4的整合能力到Mistral-7B上，得到数据标准化模型SEA-S。最后，作者利用SEA-S对同行评审数据集的评审标签进行整合，得到具有高质量的评审标签。

SEA-E

受益于SEA-S的输出，作者构建高质量的同行评审指令微调数据集，对Mistral-7B进行微调，得到可以生成全面且高质量审稿意见的评审模型SEA-E。其中，由于原始爬取的论文是以PDF格式存在，因此作者应用Nougat对PDF进行解析。Nougat是一个强大的OCR工具，可以将公式解析为LaTeX代码。

SEA-A

为了衡量原始文章和生成评审内容的一致性，作者利用原始的paper的加权ratings（基于confidence加权）作为ground-truth，输入为经过表征模型得到的文章表征和评审表征，训练一个回归模型。作者提出了一个peer attention的方法，即对文章表征和评审表征相互做注意力，公式如下：
q p ^ = W q h p ^ , q r = W q h r k p ^ = W k h p ^ , k r = W k h r \begin{array}{ll} q_{\hat{p}}=W^q h_{\hat{p}}, & q_r=W^q h_r \\ k_{\hat{p}}=W^k h_{\hat{p}}, & k_r=W^k h_r \end{array} qp^​​=W