LEVERAGING LARGE LANGUAGE MODELS FOR STRUCTURE LEARNING IN PROMPTED WEAK SUPERVISION

本文介绍了一种利用大型语言模型(LLM)进行提示性弱监督(PromptedWS)的方法,以解决弱监督中的统计依赖结构学习问题。提出的结构细化模块通过LLM的提示相似性检测和管理LFs的冗余与依赖,减少了对数据的依赖,并在基准任务上提高了12.7分。结构细化模块包括标记函数去除和相关结构生成组件,并进行了广泛的消融实验和分析。

本文是LLM系列文章,针对《LEVERAGING LARGE LANGUAGE MODELS FOR STRUCTURE LEARNING IN PROMPTED WEAK SUPERVISION》的翻译。

利用大型语言模型进行提示弱监督下的结构学习

摘要

提示弱监督(PromptedWS)在弱监督框架中应用预训练的大型语言模型(LLM)作为标记函数(LFs)的基础,以获得大型标记数据集。我们进一步扩展了LLM在循环中的使用,以解决弱监管中的一个关键挑战:学习监管来源之间的统计依赖结构。在这项工作中,我们询问LLM这些提示LFs有多相似。我们提出了一种结构细化模块,这是一种简单而有效的第一种方法,基于提示的相似性,利用嵌入空间中的内在结构。结构细化模块的核心是标记函数去除(LaRe)和相关结构生成(CosGen)。与以前从弱标签中学习依赖关系的方法相比,我们的方法找到了LFs固有的依赖关系,并且对数据的依赖性较小。我们展示了我们的结构细化模块在基准任务上将PromptedWS管道提高了12.7分。我们还通过综合消融实验和分析探讨了效率和性能之间的权衡。此项目的代码可以在https://github.com/BatsResearch/su-bigdata23-code中找到.

1 背景

2 方法

3 实验结果

4 消融和分析

5 结论和讨论

在本文中,我们提出了结构细化模块,这是一种在提示性弱监管中有效发现和管理结构的新方法。我们的方法要求大型语言模型提供推理输出之外的信息,利用嵌入空间中的相似性来检测冗余LFs并学习提示LFs之间的依

《KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph》聚焦于利用大型语言模型增强知识图谱推理。大型语言模型(LLM)在复杂推理和问答(QA)任务中的知识限制方面存在局限性,而KnowledgeNavigator框架利用知识图谱中的外部知识来增强LLM推理[^4]。 该框架主要包括三个阶段:问题分析、知识检索和推理。在问题分析阶段,预测推理跳数,生成相似的问题,以增强推理逻辑挖掘;知识检索阶段,根据给定的问题和大语言模型指导,从知识图谱中迭代检索和过滤相关知识;推理阶段,将检索到的知识转化为对LLM有效的提示,以此增强其推理能力。并且该框架在KGQA基准测试中优于以前的知识图谱增强LLM方法[^4]。 ```python # 以下为简单示意框架各阶段伪代码 # 问题分析 def question_analysis(question): # 预测推理跳数 hop_count = predict_hop_count(question) # 生成相似问题 similar_questions = generate_similar_questions(question) return hop_count, similar_questions # 知识检索 def knowledge_retrieval(question, llm_guide, knowledge_graph): relevant_knowledge = [] # 迭代检索和过滤相关知识 for step in range(max_steps): new_knowledge = retrieve_and_filter(question, llm_guide, knowledge_graph) relevant_knowledge.extend(new_knowledge) return relevant_knowledge # 推理 def reasoning(relevant_knowledge, llm): prompt = convert_to_prompt(relevant_knowledge) result = llm.generate(prompt) return result ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值