DEVIL_hym的博客

SENet 和 Bilinear 交叉这两种模型用在排序上都有收益。

LHUC 只能用于精排。多目标模型中的神经网络可以用全连接网络 、深度交叉网络 或者LHUC等。

DCN可以用来排序或者召回。召回：双塔模型是一种框架，不是具体的神经网络，两个塔可以用任意的神经网络结构，最简单的结构是全连接网络，DCN效果比全连接好。多目标排序模型MMOE排序模型。

推荐系统中，交叉项很有用。线性模型没有交叉项。

前面讲的多目标模型主要是用于精排。粗排：尽量减少推理的计算量，牺牲准确性确保线上推理的速度足够快。

id embedding，通常用32或64维向量。

用p拟合y，t是用户的实际观看时长，用y和p熵作为损失函数，使得p接近y。输出z,对z做sigmoid变换。exp(z)可以视为对播放时长的预估。

α1 α2超参数，线上做ab test选取合适的。α1 2 3 4 全取1，计算的就是营收。预估观看时长p time。

输入向量（包含四种特征）到三个神经网络（专家），不共享参数。实践中超参数专家神经网络个数需要调，会尝试4个或者8个专家。左边另一个神经网络softmax输出的向量，三个元素均为正数，合为1，作为权重，计算x1 x2 x3 的加权平均。右边的一样输出作为权重。

使用机器学习方法对指标做预估，再对预估分数做融合。融合方法：加权和方法给不同指标赋予不同的权重，权重是做A/B test调试得到的。还有更好地融合方法。

Bloom Filter是一种数据结构 。K=0的情况：K=3的情况：误伤概率：即每个曝光物品需要占几个bit的存储，用户历史上有n个曝光物品，只需要m=10n bits就可以把误伤概率降低到1%以下。把曝光物品写入kafka消息队列，用fink做实时计算，fink实时读取Kafka消息队列，计算曝光物品的哈希值，把结果写到Bloom Filter的二进制向量上。用这样的实时更新链路，在曝光发生几秒之后，用户的Bloom Filter就会被修改，就可以避免重复曝光。但如果挂掉或者延迟较大，会失误。曝光过滤具

有用但重要性不高GeoHash把经纬度编码成二进制哈希码方便检索。召回只根据经纬度这个地理位置，返回一批优质笔记，完全不考虑用户兴趣，也是因此返回优质笔记，大概率还是会感兴趣，不然通不过精排粗排。感兴趣的作者包括关注的和有交互的针对进入精排但没有被随机抽到的笔记。可以细化规则，例如，想要扶持曝光比较低的笔记，可以根据曝光次数来设置规则，让低曝光笔记在缓存存更长的时间。

双塔模型是将向量表征作为用户和物品之间的中介。Deep Retrieval是将路径作为用户和物品之间的中介。

让不同物品的向量表征尽量spread out ，分散在整个特征空间上，而不是集中在一起。指标有改善。第一个batch训练双塔，包括用户塔和物品塔；第二个batch做自监督学习，只训练物品塔。最后做梯度下降使损失函数减小。Lmain 是双塔的损失， Lself是自监督的损失，分别取平均。α是超参数，决定自监督学习起到的作用。

模型训练好之后，部署到线上做召回，快速找到用户感兴趣的物品。对训练好的两个塔，线上服务前，先用右边的物品塔提取物品的特征做离线存储，记作特征向量b，把（b , id）二元组保存到数据库（Milvus、Faiss等）。然后对数据库建立索引，即划分几个区域，一个区域用一个向量表示，这样可以加速最近邻查找用户塔不需要事先计算和存储用户向量，而是当用户发起推荐请求的时候，调用神经网络在线上现算特征向量a，然后把向量a作为quary取数据库中做检索，查找最近邻，即和用户相似度最高的k个红色向量。每一个红色向量对应一篇

二八法则，少部分物品占据了大多数点击，会导致正样本大多是热门物品。以一定的概率抛弃一些热门物品，抛弃的概率与样本的点击次数正相关。

这是粗排和精排，前期融合，将特征在神经网络之前就拼接融合，不适用于召回，适用于排序模型；召回使用双塔模型，是在最终输出相似度的时候才融合。

工业界使用更先进的双塔模型。query查询。

推荐系统会将一个id映射成一个向量。

降低小圈子对相似度的影响。

相似度，类似机器学习里面常用的cosine相似度。

分层实验：

上述为短期指标，更重要的是北极星指标。