On Transferability of Prompt Tuningfor Natural Language Understanding--关于自然语言理解的即时调优的可转移性

最新推荐文章于 2025-11-24 19:40:32 发布
原创 最新推荐文章于 2025-11-24 19:40:32 发布 · 264 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理

Abstract

大模型推理能力的可转移性研究
欢迎来到我的优快云空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
10-18 964
随着人工智能技术的飞速发展，大模型在自然语言处理、计算机视觉等多个领域取得了显著的成果。大模型通常在大规模数据集上进行预训练，学习到丰富的知识和语言模式。然而，在实际应用中，我们常常需要将大模型的推理能力应用到不同的任务和领域中。本研究的目的在于深入探究大模型推理能力的可转移性，即大模型在一个任务或领域中学习到的推理能力能否有效地迁移到其他任务或领域。
Exploring the Transferability of Visual Prompting for Multimodal Large Language Models
c_cpp_csharp的专栏
08-15 214
尽管多模态大型语言模型（MLLM）已经显示出有前景的多功能性，但它们在下游任务上的性能仍然不如专用模型，这使得有必要进行自适应以提高其效用。然而，微调方法需要对每个模型进行独立训练，从而导致巨大的计算和内存开销。在这篇论文中，我们提出了一种新的设置，我们的目标是通过一组针对下游任务优化的共享参数来提高各种MLLM的性能。为了实现这一目标，我们提出了可转移视觉提示（TVP），这是一种简单有效的生成视觉提示的方法，可以在仅在一个模型上训练后转移到不同的模型并提高其在下游任务上的性能。
迁移Prompt–解决Prompt Tuning三大问题！
夕小瑶科技说
12-15 3525
文 | Harris刘鹏飞博士将近代NLP的研究划归为四种范式 [1] 并把预训练语言模型加持下的Prompt Learning看作是近代自然语言处理技术发展的“第四范式”。当我们使用新范...
NAACL2022中Prompt相关论文分类
from top to bottom
08-13 770
目录1、信息抽取2、prompt Method3、文本生成4、原理5、知识发现6、少样本7、Biases[1] Template-free Prompt Tuning for Few-shot NER[2] Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification[3] Zero-Shot Event Detection Based on Ordered Contrastive Learning and
NAACL2022-Prompt相关论文&对Prompt的看法
lc_love_ty的博客
06-12 1272
最近在做Prompt的相关，整理NAACL2022中Prompt相关的论文，并把论文中对应的Github链接也附上了。并且一些自己特别感兴趣的论文，已经标星”*“，希望对大家有所帮助。 后面也简单谈了谈对Prompt的看法，不是吐槽，不是吐槽，只是一些自己的真实感受。...
预训练新范式！为什么Prompt会更有效？
Kaiyuan_sjtu的博客
01-17 6367
作者|上杉翔二悠闲会·信息检索整理|NewBeeNLP「Prompt Tuning也许会是深度学习时代的Feature Engineering问题，如何给各大...
Prompt Learning | 一文带你概览Prompt工作新进展
zenRRan的博客
12-18 2637
每天给你送来NLP技术干货！© 作者｜唐天一机构｜中国人民大学高瓴人工智能学院导师｜赵鑫研究方向｜自然语言处理来自 |RUC AI Box题图来源于[1]Prompt Learning（...
AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-27 5707
​ AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读 目录 《MM-LLMs: Recent Advances in MultiModal Large Language Models》翻译与解读 Abstract摘要 1、Lntroduction引言 2、Model Architecture模型架构，五个组件 3、Tra
《预训练周刊》第45期： 冻结语言模型、提示迁移性、快速文档排序
BAAIBeijing的博客
05-07 513
No.45智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息，《预训练周刊》已经开启“订阅功能”，以后我们会向您自动推送最新版的《预训练周刊》。订阅方法：方式1：扫描下面二维码，进入《预训练周刊》主页，选择“关注TA”。方式2：点击本文下方的“阅读原文”，进入《预训练周刊》Hub社区版，根据内附的详细订阅步骤，完成订阅。关于周刊本期周刊，我们选择了12篇预训...
预训练语言模型论文分类整理
Kaiyuan_sjtu的博客
07-29 1142
© 作者｜王晓磊机构｜中国人民大学高瓴人工智能学院博士生导师｜赵鑫教授研究方向 | 对话系统1. 引言近年来，以 BERT 和 GPT 系列为代表的大规模预训练语言模型（...
【多模态攻击】Set-level Guidance Attack: Boosting Adversarial Transferability of Vision-Language Pre-train
nbwjszd的博客
06-21 1325
原文标题： Set-level Guidance Attack: Boosting Adversarial Transferability of Vision-Language Pre-training Models 原文代码： https://github.com/Zoky-2020/SGA 发布年度： 2023 发布期刊： ICCVVision-language pre-training (VLP) models have shown vulnerability to adversarial examp
VadCLIP：将视觉语言模型应用于弱监督视频异常检测（VadCLIP: Adapting Vision-Language Models for WSVAD）
lemonzjk的博客
08-16 1866
作者主要是提出了WSVAD的`新范式VadCLIP`，是`双分支`结构，第一个分支利用视觉信息实现二分类，为粗粒度；第二个分支利用 视觉语言对齐方法 实现多分类，为细粒度。 VadCLIP主要包括`3个组件`，分别为：①LGT-Adapter捕获时间依赖；②Two prompt mechanisms有效地将CLIP用到WSVAD任务；③MIL-Align实现了弱监督下对齐范式的优化，尽量保留了预训练的知识。
【论文笔记】Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in NLP
gjh1716718326的博客
10-19 6678
摘要 Unlike traditional supervised learning, which trains a model to take in an input x and predict an output y as P(y|x), prompt-based learning is based on language models that model the probability of text directly. To use these models to perform predicti
EMNLP 2020: 探索跨NLP任务可转移性的研究与实践
本文档是关于一篇即将在EMNLP 2020（Empirical Methods in Natural Language Processing，自然语言处理的经验方法会议）上发表的论文，其核心内容是探讨和预测跨NLP任务的可转移性。本文档详细介绍了相关的数据和...
走向通用智能的大语言模型：具身、符号落地、因果与记忆的统一认知视角
nmdbbzcl的博客
11-23 1018
如果真要靠大语言模型（LLM）走向人工通用智能（AGI），缺的到底是什么？arXiv作者的态度很明确：今天的多模态大模型已经很强，但“聪明得很表面”，距离真正的“通用智能”还差一大截。
NLP基础(十)_词向量
weixin_48870215的博客
11-23 714
NLP基础(十)_词向量
PaLM：Pathways 驱动的大规模语言模型 scaling 实践
m0_65010824的博客
11-24 665
本文是对论文《PaLM: Scaling Language Modeling with Pathways》的深度解读。在大模型研究领域，如何实现高效规模化训练并解锁复杂任务能力，是核心挑战。Google Research 团队提出的 PaLM 模型，以 5400 亿参数稠密 Transformer 为基础，借助 Pathways 系统实现跨 TPU Pod 高效训练，在少样本推理、代码生成等任务中刷新 SOTA，为大模型规模化研究提供关键参考。
InstructBLIP：面向通用视觉语言模型的指令微调技术解析
m0_65010824的博客
11-24 582
本文是对论文《InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning》的深度解读。在多模态领域，如何构建具备通用指令遵循能力的视觉语言模型，是亟待解决的关键挑战。Salesforce Research 等团队提出 InstructBLIP 框架，通过指令感知 Q-Former 与平衡数据集采样策略，实现了多样化视觉语言任务的高效泛化，显著提升零样本与下游微调性能，为通用多模态模型研发提供范式。
论文浅尝 | 利用条件语句激发和提升大语言模型的因果推理能力（CL2025）
最新发布
开放知识图谱
11-24 287
这些发现表明，代码，特别是代码中的条件语句，通过提示和微调在引发和提高语言模型的因果推理能力方面可以发挥重要作用。证明，在执行复杂因果推理任务时，代码语言模型优于相同结构的通用语言模型。的训练数据观察到最大的性能提升，这表明仅用少量（少于一千条）条件语句代码，模型的因果推理能力就能大幅提高。代码语言模型在大多数设置下仍然优于相应的通用语言模型，并且对于大多数模型来说，代码提示优于文本提示。代码大语言模型比通用大语言模型更擅长因果推理，并且对于大多数模型来说，代码提示比文本提示更有效。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值