36、多任务学习与网络调优：原理、实现与实践

多任务学习与网络调优：原理、实现与实践

1. 多模态输入下的预测与网络学习

在进行预测时，我们改变文本输入为“lower half”，观察概率变化，发现高数字的概率降低。虽然每次运行结果并非完全一致，但很多情况下概率变化足以使网络预测从 7 变为 3，这表明网络学会了同时考虑图像和文本描述。

2. 多任务学习概述

多任务学习是指训练单个网络同时解决多个独立任务，它与多模态学习相互正交但也可结合，即创建单个网络处理同一数据的多种模态以同时解决多个任务。

2.1 为何实施多任务学习

• 效率与泛化 ：以手写数字识别为例，若为每个数字创建单独网络，会存在冗余，如识别 3、6、8 时，它们下部都是圆形，共享一个“圆形下部检测器”更高效，且能使神经元学习更通用概念，减少过拟合。
• 任务相关性 ：计算机视觉中的检测和分割任务，除了对图像中的对象进行分类，还涉及绘制边界框或检测属于分类对象的单个像素，这些任务有很多共性。
• 与迁移学习的联系 ：迁移学习是先训练一个任务再用于另一个任务，而多任务学习是同时训练并用于两个或更多任务。

2.2 如何实现多任务学习

• 构建多输出单元网络 ：构建具有多组输出单元的网络，这些输出单元类型可不相同。例如，一个网络同时进行对象分类和绘制边界框，可使用一个用于分类的 softmax 输出单元和四个表示边界框四个角的线性输出单元。这些不同的输出单元通常称为“头”，网