Introducing Language Guidance in Prompt-based Continual Learning

828 篇文章

已下架不支持订阅

本文是LLM系列文章,针对《Introducing Language Guidance in Prompt-based Continual Learning》的翻译。

摘要

持续学习旨在学习一系列任务的单一模型,而无需访问以前任务的数据。该领域最大的挑战仍然是灾难性的遗忘:早期任务的可见类的性能损失。一些现有的方法依赖于昂贵的重放缓冲区来存储以前任务的数据块。这虽然很有前景,但当任务数量变大或由于隐私原因无法存储数据时,成本会变得很高。作为替代方案,已经提出了将任务信息存储在可学习提示池中的基于提示的方法。此提示池指示冻结图像编码器如何解决每个任务。虽然在这种设置下,模型在每个任务中都面临一组不相交的类,但我们认为这些类可以被编码到预先训练的语言编码器的相同嵌入空间中。在这项工作中,我们提出了基于提示的持续学习的语言指导(LGCL),作为基于提示的方法的插件。LGCL与模型无关,在提示池的任务级别和视觉编码器的输出特性的类级别引入了语言指导。我们通过大量实验表明,LGCL不断提高基于提示的连续学习方法的性能,从而开创了新的技术水平。LGCL在不需要任何额外的可学习参数的情况下实现了这些性能改进。

1 引言

2 相关工作

3 背景

4 基于提示的持续学

已下架不支持订阅

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值