Towards Unified Task Embeddings Across Multiple Models: Bridging the Gap for Prompt-Based LLM

本文是LLM系列文章，针对《Towards Unified Task Embeddings Across Multiple Models: Bridging the Gap for Prompt-Based Large Language Models and Beyond》的翻译。

摘要

任务嵌入是一种捕捉特定任务信息的元学习技术，已经变得普遍，尤其是在多任务学习、模型编辑和可解释性等领域。然而，随着以无梯度方式操作的提示引导大型语言模型（LLM）的出现，它面临着挑战。现有的任务嵌入方法依赖于微调的、特定于任务的语言模型，这阻碍了任务嵌入在不同模型中的适应性，尤其是基于提示的LLM。为了在LLM时代释放任务嵌入的力量，我们提出了一个统一任务嵌入（FUTE）框架，在单个向量空间内协调来自各种模型的任务嵌入，包括较小的语言模型和具有不同提示的LLM。这种一致性使得能够比较和分析不同模型之间的相似性，扩展了现有任务嵌入方法在解决多模型场景中的范围和效用，同时保持其性能与特定于体系结构的方法相当。

1 引言

2 相关工作

3 方法

4 实验

5 结论和未来工作

本文介绍了一个统一的框架FUTE，通过使用额外的代理基模型和无监督数据，在不改变现有任务嵌入学习方法的情况下，将任务嵌入分离到DTE和MTE中。FUTE可以有效地扩展当前的方法来学习MTE，这些方法位于统一的向量空间中，用于各种语言模型和