YouTube DNN在召回上的一些实验记录——负样本的选取

负样本随机采样

1. 采样细节和auc

在构建YouTube的负样本的时候针对样本数据，我们采用对所有正样本覆盖到的视频随机采样的方式进行负样本的选取。

一条输入的样本数据对应下一个点击的视频vid作为正样本，63个随机挑选的vid作为负样本。

采用随机采样我们训练得到的模型auc如下:

epoch 0, auc: 0.975047328233897 
epoch 1, auc: 0.9787315107784329
epoch 2, auc: 0.9768194927164626
epoch 3, auc: 0.975806570236023 
epoch 4, auc: 0.9728442576988845

2. 用户向量

在训练好的模型中，通过YouTube DNN得到用户的实时向量。

在计算得到的用户向量总的维度为342其中为激活值为0.0的结果为210个。

在以ReLu为激活函数的神经网络中，激活值为0的神经元在模型训练的过程中，无法通过反向传播再更新参数。

这样的神经元称为死亡神经元:

在这种情况下YouTube DNN最后一层的神经元的死亡率为61.58%

曝光负样本采样

1. 采样细节和auc

除了使用随机负采样的方式，我们还通过选取对应用户曝光未点击的视频作为负样本，点击的视频作为正样本。

通过曝光负采样，在模型训练过程中测试集上得到的auc如下:

epoch :0, auc :0.8541589495078
epoch :1, auc :0.869886817686467
epoch :2, auc :0.877884247163766
epoch :3, auc:0.88235782102