LEVERAGING LARGE LANGUAGE MODELS FOR STRUCTURE LEARNING IN PROMPTED WEAK SUPERVISION

本文是LLM系列文章，针对《LEVERAGING LARGE LANGUAGE MODELS FOR STRUCTURE LEARNING IN PROMPTED WEAK SUPERVISION》的翻译。

摘要

提示弱监督（PromptedWS）在弱监督框架中应用预训练的大型语言模型（LLM）作为标记函数（LFs）的基础，以获得大型标记数据集。我们进一步扩展了LLM在循环中的使用，以解决弱监管中的一个关键挑战：学习监管来源之间的统计依赖结构。在这项工作中，我们询问LLM这些提示LFs有多相似。我们提出了一种结构细化模块，这是一种简单而有效的第一种方法，基于提示的相似性，利用嵌入空间中的内在结构。结构细化模块的核心是标记函数去除（LaRe）和相关结构生成（CosGen）。与以前从弱标签中学习依赖关系的方法相比，我们的方法找到了LFs固有的依赖关系，并且对数据的依赖性较小。我们展示了我们的结构细化模块在基准任务上将PromptedWS管道提高了12.7分。我们还通过综合消融实验和分析探讨了效率和性能之间的权衡。此项目的代码可以在https://github.com/BatsResearch/su-bigdata23-code中找到.

1 背景

2 方法

3 实验结果

4 消融和分析

5 结论和讨论

在本文中，我们提出了结构细化模块，这是一种在提示性弱监管中有效发现和管理结构的新方法。我们的方法要求大型语言模型提供推理输出之外的信息，利用嵌入空间中的相似性来检测冗余LFs并学习提示LFs之间的依