知识蒸馏提升多任务学习收敛效果

多任务学习的收敛挑战

多任务学习（MTL）通常需要联合优化一组任务的损失函数。简单求和损失函数的方法往往效果欠佳，因为不同任务会因难度差异呈现不同收敛速度，导致部分任务过拟合而其他任务欠拟合。现有方法主要通过静态/动态调整损失权重或梯度操作来平衡任务间的学习速度。

基于知识蒸馏的异步收敛

在NAACL 2022发表的论文中，提出了一种创新方法：

1. 允许各任务按自身节奏收敛
2. 当某任务达到性能峰值时，切换为知识蒸馏（KD）损失函数
3. 使用该任务最佳参数生成训练集的软标签
4. 对已收敛任务持续使用软标签训练，未完成任务继续使用真实标签

该方法在两种五任务电商数据集上的实验表明：

• 联合训练模式（所有任务同时训练）平均优于基线0.9%
• 顺序训练模式（逐任务添加）平均优于基线1.5%

实验验证

在包含分类任务的同构场景和任务类型各异的异构场景中，验证曲线显示：

• 传统求和损失方法会出现任务性能下降
• 新方法能始终保持已收敛任务的峰值性能
• 顺序训练模式尤其适合任务差异大的场景

该方法为多任务学习提供了更灵活的收敛控制机制，特别适用于实际业务中常见的异构任务组合。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
公众号二维码