DePT_Decoupled Prompt Tuning

单位：电子科技大学

代码： https://github.com/Koorye/DePT

论文： https://arxiv.org/pdf/2309.07439.pdf

目录：

目录

Abstract

Introduction

Method

A Closer Look at the BNT Problem

Decoupled Prompt Tuning

Experiments:

Details

Ablation Studie

Base-to-New Generalization

Cross-Dataset Generalization

Domain Generalization

Conclusions

---

Abstract

这项工作突破了提示调优中的基础-新类权衡（Base-New Tradeoff）困境，即调整后的模型对基础（或目标）任务的泛化效果越好，对新任务的泛化能力就越差，反之亦然。

具体来说，通过对基础和新任务的学习特征的深入分析，我们观察到BNT源于通道偏差问题（channel bias issue ）——绝大多数特征通道被特定于基础任务 (task-specific) 的知识所占据，导致对新任务重要的任务共享 (task-shared) 知识的崩溃。

为了解决这个问题，我们提出了 Decoup