【深度学习】多目标融合算法（二）：底部共享多任务模型（Shared-Bottom Multi-task Model）

 

目录

一、引言

1.1 往期回顾

1.2 本期概要

二、Shared-Bottom Multi-task Model（SBMM）

2.1 技术原理

2.2 技术优缺点

2.3 业务代码实践

三、总结

---

一、引言

在朴素的深度学习ctr预估模型中（如DNN），通常以一个行为为预估目标，比如通过ctr预估点击率。但实际推荐系统业务场景中，更多是多种目标融合的结果，比如视频推荐，会存在视频点击率、视频完整播放率、视频播放时长等多个目标，而多种目标如何更好的融合，在工业界与学术界均有较多内容产出，由于该环节对实际业务影响最为直接，特开此专栏对推荐系统深度学习多目标问题进行讲述。

1.1 往期回顾

上一篇文章主要介绍了推荐系统多目标算法中的“样本Loss加权”，该方法在训练时Loss乘以样本权重实现对多种目标的加权，通过引导Loss梯度的学习方向，让模型参数朝着你设定的权重方向去学习。

1.2 本期概要

今天进一步深化，主要介绍Shared-Bottom Multi-task Model算法，该算法中文可译为“底部共享多任务模型”，该算法设定多个任务，每个任务设定多个目标，通过“Loss计算时调整每个任务的权重”，亦或是“每个塔单元内，多目标Loss计算时调整每个目标的权重”进行多任务多目标的调整。

二、Shared-Bottom Multi-task Model（SBMM）

2.1 技术原理

Shared-Bottom Multi-task Model（SBMM）全称为底层共享多任务模型，主要由底层共享网络、多任务塔、多目标输出构成。核心原理：通过构造多任务多目标样本数据，在Loss计算环节，将各任务Loss求和（或加权求和），对Loss求导（求梯度）后，逐步后向传播迭代。

1. 底部网络：Shared-Bottom 网络通常位于底部，可以为一个DNN网络，或者emb+pooling+mlp的方式对input输入的稀疏（sparse）特征进行稠密（dense）化。
2. ​​​​​​​多个任务塔：底部网络上层接N个任务塔（Tower），每个塔根据需要可以定义为简单或复杂的多层感知器（m