Text-to-LoRA: Instant Transformer Adaption

文章主要内容和创新点总结

主要内容

本文提出了一种名为Text-to-LoRA（T2L） 的超网络模型，旨在解决大型语言模型（LLMs）任务适配中的效率问题。传统的模型适配方法（如LoRA）需要为每个任务单独优化适配器，依赖特定数据集和耗时的微调，而T2L通过自然语言描述即可实时生成任务特定的LoRA适配器，仅需一次低成本的前向传播。

• 核心机制：T2L是一种超网络，通过训练学习压缩预训练的LoRA适配器，并能基于自然语言任务描述生成新的LoRA。其训练方式包括两种：一是重构预训练的LoRA适配器（蒸馏已有知识），二是通过多任务监督微调（直接在下游任务上优化）。
• 实验验证：在9个预训练LoRA适配器（如GSM8K、Arc等）上训练后，T2L生成的适配器性能接近任务特定适配器；同时，T2L能压缩数百个LoRA，并零样本泛化到完全未见过的任务，在多个基准测试中优于现有方法（如Arrow Routing）。
• 架构与分析：T2L包含L、M、S三种变体（参数规模不同），通过消融实验验证了其在训练数据量、任务嵌入模型、描述质量等方面的鲁棒性，并发现生成的LoRA在低维空间中形成语义聚类，体现任务相关性。

创新点