召回06 双塔模型two-tower(DSSM)

双塔模型的结构

相比于矩阵补充模型，双塔模型考虑了id之外的多种特征作为输入。

对于每个离散特征用单独的enbadding层得到向量，对于性别等类别较少的特征直接使用one-hot编码；对于连续特征，最简单的直接归一化，对于长尾分布的特征取log或做分桶等。

神经网络可以是简单的全连接网络，或更复杂的结构，例如深度交叉网络等。输出向量，即表征，用于召回。

余弦相似度范围 [-1 ，1]，相当于对两个向量a b归一化然后求内积。

双塔模型的训练

pointwise: 把正样本和负样本组成一个数据集，在数据集上做随机梯度下降训练双塔模型；

pairwise: 每次取一个正样本和负样本组成一个二元组，损失函数用triplet hinge loss或者 triplet logistic loss；

listwise: 每次取一个正样本和多个负样本组成一个list，训练类似于多元分类。