文章主要内容总结
本文聚焦于设备端大型语言模型(LLMs)的高效组合多任务处理问题。现有基于适配器(如LoRA)的模型合并方法仅能处理单个测试样本对应单一任务的场景,而实际应用中常需同时执行多个任务(如生成翻译后的摘要需同时完成翻译和摘要任务)。
为此,本文提出:1)一个包含4个实用组合任务的基准测试集(如“摘要+翻译”“回复+语气调整”等),每个任务结合一个主任务(如摘要生成)和一个辅助任务(如翻译);2)一种适用于资源受限设备端的高效方法——“可学习校准(Learnable Calibration)”,该方法利用已有的任务专属适配器,通过学习少量额外参数,在单次推理中实现组合任务处理,兼顾资源效率与高性能。
实验表明,该方法性能接近低效的多步推理或专属适配器基线,且仅需极少额外存储(不足0.5MB)和单次推理,为设备端LLMs的复杂多任务应用奠定了基础。
创新点
- 提出新研究挑战:首次聚焦设备端LLMs的组合多任务处理问题,即单个输入需同时执行多个任务,突破了现有模型合并方法仅支持单一任务的局限。
- 构建新基准测试集:设计包含4个组合任务(14个子任务)的基准,覆盖“摘要/回复”与“翻译/语气调整”的组合,为该领域研究提供标准化评估工具。
- 提出高效方法:可学习校准方法通过复用现有任务适配器,仅需少量额外参数(23K-166K)即可实现组合任务的单次推理,在资源受限的设备端实现高性能与高效率的平衡。
订阅专栏 解锁全文
1325



被折叠的 条评论
为什么被折叠?



