来自Daisy和她的单程车票

目前多目标学习主要从两个方向展开，一个是网络结构设计，一个是损失函数优化；一、MTL网络设计MTL网络通常可分为两种两种，一种是hard-parameter sharing不同任务间共用底部的隐层，另一种是soft-parameter sharing，形式较为多样，如两个任务参数不共享，但对不同任务的参数增加L2范数的限制；也有一些对每个任务分别生成各自的隐层，学习所有隐层的组合；这两种方式各有优劣，hard类的网络较soft不容易陷入过拟合，但如果任务差异较大，模型结果较差，但soft类网络通常参数较

阅读论文：Predictive Model Performance: Offline and Online Evaluations1、离线AUC、RIG有迷惑性（线上线下不一致）、auc忽略了预测得分，只关注顺序(正样本排在负样本之前)auc 越高并不意味着有更好的排序AUC不能区分ROC空间的各个区域，所以仅通过优化数据两端的模型性能就可以训练模型以最大化AUC分数。实际上，高估pClick得分范围内的点击概率比低估pClick得分范围时对在线性能的影响要小低pClick范围内pClick得分

din算法一、din简介该论文是18年由阿里巴巴的盖坤团队提出，论文地址为：https://arxiv.org/pdf/1706.06978.pdf原论文的网络结构为在深度学习推荐系统这本书中，王喆绘制了这么一幅图，更好理解注意架构图中的红线，发现每个ad会有 good_id, shop_id 两层属性，shop_id只跟用户历史中的shop_id序列发生作用，good_id只跟用户的good_id序列发生作用1 论文优化点**1.1注意力机制注意力机制顾名思义，就是模型在预测的时候，

一、AFM模型简介AFM模型是17年发表在IJCAI-17上的一篇论文，它是NFM模型的一个改进， 在传统FM模型中，使用二阶交叉特征得到非线性表达能力，但是不是所有的特征交叉都会有预测能力，很多无用的特征交叉加入后反而会相当于加入了噪声。为了区别对待不同的特征，引入了Attention机制。论文地址为：https://www.ijcai.org/proceedings/2017/0435.pdf其结构图为其中attention network可形式化为：AFM模型的公式为：需要注意的是：

一、dcn简介dcn是17年由斯坦福大学提出，其主要目的是论文地址为：https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/1708.05123.pdf其结构图为这篇论文重点是提出了cross layer的概念，其结构图如下二、代码展示1、cross layer#@tf.functiondef cross_layer(x0, xl): embed_dim = xl.shape[-1] w = tf.Variable(

一、NFM 模型介绍NFM是2017年由新加披国立大学提出的一种模型，其主要优化点在于提出了Bi-Interaction，Bi-Interaction考虑到了二阶特征组合，减轻了后面MLP部分学习特征信息的压力论文地址：https://arxiv.org/pdf/1708.05027.pdf其结构如下BI-Interaction的结构为该式可化简为详细推导过程如下编程简单记忆方式： 和的平方-平方的和需要注意的是：1.该图显示的是在Bi-Interaction后由三层MLP构成，但

粗排-正负样本选取准则精排目的是在优中（用户感兴趣的商品中）择优（挑选用户最感兴趣的商品）、粗排从商品池子中挑选出用户感兴趣的商品，了解这一区分性后，对精排和粗排正负样本的选取便会采取不同方式【结论】文中指出：i 采用曝光未点击的样本直接作为负样本，比随机采样效果差；ii 仅仅采用hard negative策略（不加入easy negative），也比随机采样效果差（easy negative很有必要，easy ：hard negative=100：1），且采用上一轮模型结果101-500的样本进

目录ALS(交替最小二乘法)1.1 原理推导2.1.1 ALS2.1.2 ALS-L2正则化2.1.3 Stochastic Gradient ALS2.1.4 隐式反馈(Implicit Feedback )2. 优缺点ALS(交替最小二乘法)ALS (Alternating Least Squares) 交替最小二乘法。ALS 的核心是：打分矩阵R是近似低秩的。换句话说，一个打分矩阵 R ...