Tak-Wah Blog

机器学习-正样本加权

原文：推荐系统中的bias&&debias(二)：position bias的消偏_贝壳er的博客-优快云博客前面提到过position bias，即用户倾向于点击排在前面的结果，这使得“优势位置”的item会获得更高的后验点击率。这本质上是和用户的注意力，用户对item的情绪有关，而和用户的真实兴趣无关，这显然是不利用推荐模型的学习的。关于position bias的消偏，主要有以下几种：方法一：将位置信息作为特征加入到模型的输入中这是最简单的一种消偏方式，在训.

来源：CTR/推荐系统中多任务/多目标学习应用概述文章汇总 - 知乎1.文章吴海波：电商多目标优化小结（2019.8-267）SunSuc：推荐系统中如何做多目标优化（2019.12-163）梦想做个翟老师：Multi-task多任务模型在推荐算法中应用总结1（2019.12-74）梦想做个翟老师：Multi-task多任务学习在推荐算法中应用(2）（2019.12-152）千寻：Multi-task多任务学习在推荐算法中的应用（2020.3-201）彭红卿：ocp...

持续学习语义理解框架ERNIE：https://aistudio.baidu.com/aistudio/projectdetail/1244949ERNIE/ERNIE 2.0 原理解析https://suixinblog.cn/2019/11/ernie.html关于ERNIE更详细的介绍，可以参考这两篇学术论文：ERNIE: Enhanced Representation through Knowledge Integration ERNIE 2.0: A Continual Pre-..

一般我们就用训练集出一个模型，然后可以在其他的代码里读取这个模型来使用。其他的代码就是所谓的下游任务（比如·什么分类、NER什么的）。BERT只是出一个词向量，这个向量不接任务你也看不出什么东西。这种分开训的就叫pipline，如果bert和下游任务一起训就叫end-to-endBERT的输入可以包含一个句子对 (句子 A 和句子 B)，也可以是单个句子。此外还增加了一些有特殊作用的标志位：转载[CLS]标志放在第一个句子的首位，经过 BERT 得到的的表征向量 C 可以用于后续的分类任务。[S..

import numpy as npimport paddle.fluid as fluidimport paddlelogit_y = np.array([[1.23, 2.33, 3.33, 2.11], \ [5.23, 2.33, 3.33, 2.11], \ [1.23, 8.33, 3.33, 2.11], \ [1.23, 2.33, 3.33, 2.11]]).a.

摘自：https://blog.youkuaiyun.com/moreaction_/article/details/106335586

商品端特征（画像特征+统计特征）：序号 字段名称 中文描述 字段类型 1 sku_id 商品ID string 2 brand_id 品牌ID string 3 shop_id 店铺ID string 4 sku_name 商品名 string 5 first_cate_id ...

==========================================================推荐系统的召回模块中，可以通过上述的结论解释如下问题：（1）离线部分：一般在网络结构的最后一层，对User Embedding和Item Embedding使用Cos相似度建模（例如YouTube, DSSM等）；（2）在线部分：使用 Faiss 或者 Annoy 对 User Embedding 在商品池中检索 Item Embedding Index。 Fais...

sampled_softmax_loss可以看作是Softmax计算的一种加速方式。import tensorflow as tfhelp(tf.nn.sampled_softmax_loss)Help on function sampled_softmax_loss_v2 in module tensorflow.python.ops.nn_impl:sampled_softmax_loss_v2(weights, biases, labels, ...

写在前面，转自：负样本为王：评Facebook的向量化召回算法作者：石塔西链接：https://zhuanlan.zhihu.com/p/165064102来源：知乎有人的地方就会有江湖，就会有鄙视链存在，推荐系统中也不例外。排序、召回，尽管只是革命分工不同，但是我感觉待遇还是相差蛮大的。排序排序，特别是精排，处于整个链条的最后一环，方便直接对业务指标发力。比如优化时长，只要排序模型里，样本加个权就可以了。排序由于候选集较小，所以有时间使用复杂模型，各种NN，各种Attentio