文章探讨了小样本增量学习的挑战，提出continualparameter-efficientCLIP方法，结合轻量级可学习的提示来有效地利用CLIP模型的知识。该方法关注新知识的学习和防止旧知识的灾难性遗忘，通过提示信息在语言和视觉编码间促进学习迁移，并应用prompt规则化增强网络性能。
小样本增量学习的问题：新知识的学习和避免旧知识灾难性遗忘。
提出continual parameter-efficient CLIP减少不同学习阶段的信息损失。
利用CLIP with light-weight learnable prompts处理小样本类增量学习，可以很好地利用大模型CLIP中的知识经验信息。
对于语言和视觉编码，依赖于科学系的提示信息（prompts），以能够在不同阶段间转移学习。同时引入propompt规则化来提高网络性能，防止灾难性遗忘。
框架图：
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
