Ajdidfj的博客

参考来源：项目文件预览 - easy-algorithm-interview-and-practice - GitCode

于是，我们定义两个变量），

当我们使用DNN网络解决推荐问题的时候存在网络参数过于庞大的问题，这是因为在进行特征处理的时候我们需要使用one-hot编码来处理离散特征，这会导致输入的维度猛增。为了解决DNN参数量过大的局限性，可以采用非常经典的Field思想，将OneHot特征转换为Dense Vector，通过增加全连接层就可以实现高阶的特征组合。对于CTR问题，被证明的最有效的提升任务表现的策略是特征组合(Feature Interaction)；如何更好地学习特征组合，进而更加精确地描述数据的特点；如何更高效的学习特征组合。

网络结构如图所示，同样的特征输入分别送往三类不同的专家模型（任务A专家、任务B专家、任务共享专家），再通过门控机制加权聚合之后输入各自的Tower网络。MMOE、PLE原论文中介绍的模型均是使用同样的原始特征输入各个不同的expert，也输入给第一层的gate。如果ple是多层的，比如两层，则每层的专家的架构相同，里面的隐藏单元数（512）相同。每个专家都会有一个门控出来的标量，针对不同任务和共享层的分数都是不一样的。ple共享专家是4个，每个任务都是独立的4个小专家。是门控值的概率分布，它的形状通常是。

Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。3.batch_size在大数据集上尝试1024，2048等，都可以尝试。看看loss的下降情况，再选用效果更好的值。batch_size太小，收敛得慢，导致网络收敛不稳定，可能准确率来回震荡，因此需要把基础学习速率降低一些。2.确定epoch，是根据损失函数的值，画出损失函数曲线图，人工确认或者运用早停法。5.在多任务中，一般来说中间专家层层数越多，或者数量越多，所得精度越高。适配batch_size，一般10-3，10-4。

tf和pytorch每轮epoch显示输出的auc是如何计算的？

Adaboost模型的决策边界比单层决策树的决策边界要复杂的多。值的注意的是：与单个分类器相比，Adaboost等Boosting模型增加了计算的复杂度，在实践中需要仔细思考是否愿意为预测性能的相对改善而增加计算成本，而且Boosting方式无法做到现在流行的并行计算的方式进行训练，因为每一步迭代都要基于上一部的基本分类器。ID3 和 C4.5 虽然在对训练样本集的学习中可以尽可能多地挖掘信息，但是其生成的决策树分支、规模都比较大，CART 算法的二分法可以简化决策树的规模，提高生成决策树的效率。

目的：训练一个图模型，使得该图模型可以区分图上的黄色节点和绿色节点。特征作为图的节点，颜色就是图的分类。图的度的概念：与节点相连的条数。邻接表记录的是后续邻居的信息；在新闻推荐中，节点是用户和新闻，用户会有一些特征，新闻也会有一些特征。边也会有自己的特征，比如用户阅读新闻的阅读时长、点击频率等；

目录DIN输入输出：与transformer注意力机制的区别与联系：DINE改善DIN输入：DSIN动机：LGB适用与精排，论文： Deep Interest Network for Click-Through Rate PredictionDIN模型提出的动机是利用target attention的方法，进行加权pooling，它为历史行为的物品和当前推荐物品计算一个attention score，然后加权pooling，这样的方法更能体现用户兴趣多样性。DIN模型，增加了注意力机制，模型的创新点或者解决

原项目中用的代码是符合deepmatch==0.1.0的，但是根据包的不断更新，默认安装的deepmatch==0.9.3 比较新，对应的源码中的YoutubeDNN有了一些参数变化，跟着最新的源码修改即可。

召回，多兴趣召回，胶囊网络