LEVERAGING LARGE LANGUAGE MODELS FOR STRUCTURE LEARNING IN PROMPTED WEAK SUPERVISION

最新推荐文章于 2025-11-24 18:29:32 发布

UnknownBody

最新推荐文章于 2025-11-24 18:29:32 发布

阅读量185

点赞数

CC 4.0 BY-SA版权

分类专栏： LLM Daily 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138899872

LLM Daily 专栏收录该内容

1689 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文介绍了一种利用大型语言模型（LLM）进行提示性弱监督（PromptedWS）的方法，以解决弱监督中的统计依赖结构学习问题。提出的结构细化模块通过LLM的提示相似性检测和管理LFs的冗余与依赖，减少了对数据的依赖，并在基准任务上提高了12.7分。结构细化模块包括标记函数去除和相关结构生成组件，并进行了广泛的消融实验和分析。

本文是LLM系列文章，针对《LEVERAGING LARGE LANGUAGE MODELS FOR STRUCTURE LEARNING IN PROMPTED WEAK SUPERVISION》的翻译。

摘要

提示弱监督（PromptedWS）在弱监督框架中应用预训练的大型语言模型（LLM）作为标记函数（LFs）的基础，以获得大型标记数据集。我们进一步扩展了LLM在循环中的使用，以解决弱监管中的一个关键挑战：学习监管来源之间的统计依赖结构。在这项工作中，我们询问LLM这些提示LFs有多相似。我们提出了一种结构细化模块，这是一种简单而有效的第一种方法，基于提示的相似性，利用嵌入空间中的内在结构。结构细化模块的核心是标记函数去除（LaRe）和相关结构生成（CosGen）。与以前从弱标签中学习依赖关系的方法相比，我们的方法找到了LFs固有的依赖关系，并且对数据的依赖性较小。我们展示了我们的结构细化模块在基准任务上将PromptedWS管道提高了12.7分。我们还通过综合消融实验和分析探讨了效率和性能之间的权衡。此项目的代码可以在https://github.com/BatsResearch/su-bigdata23-code中找到.