Multi-label Sequential Sentence Classification via Large Language Model

本文是LLM系列文章，针对《Multi-label Sequential Sentence Classification via Large Language Model》的翻译。

摘要

科学出版物中的顺序句子分类（SSC）对于支持细粒度信息检索和提取摘要等下游任务至关重要。然而，当前的 SSC 方法受到模型大小、序列长度和单标签设置的限制。为了解决这些限制，本文提出了 LLM-SSC，这是一种基于大型语言模型 (LLM) 的框架，适用于单标签和多标签 SSC 任务。与之前采用中小型语言模型的方法不同，所提出的框架利用 LLM 通过设计的提示生成 SSC 标签，通过结合演示和查询来描述预测目标，从而增强任务理解。我们还提出了一种具有自动加权方案的多标签对比学习损失，从而实现了多标签分类任务。为了支持我们的多标签 SSC 分析，我们引入并发布了一个新的数据集 BIORC800，该数据集主要包含生物医学领域的非结构化摘要以及手动注释。实验证明了 LLM-SSC 在上下文学习和特定任务调整设置下的 SSC 中表现出色。我们在以下位置发布了 BIORC800 和我们的代码：https://github.com/ScienceNLPLab/LLM-SSC。

1 引言

2 方法

3 实验

4 相关工作

5 结论

在本文中，我们介绍了 LLM-SSC，这是一个用于多标签顺序句子分类问题的上下文学习和参数高效 LLM 微调的统一框架。 LLM-SSC 在提示中集成了完整的上下文信息，并在进行预测时考