weixin_45459911的博客

文章目录1、算法介绍1.1 LambdaMart的历史演变1.1.2 RankNet1.1.3 LambdaRank1.2 LambdaMart原理1、算法介绍1.1 LambdaMart的历史演变Lambdamart是一种用于排序的机器学习算法。像这种在排序问题中用到的机器学习算法，被统称为 Learning to Rank (LTR) 算法，或者 Machine-Learning Rank (MLR) 算法。LTR 算法通常有三种手段，分别是：Pointwise、Pairwise 和 Listw

文章目录1、提出原因2、模型介绍1、预估公式2、网络结构1、Embedding Layer2、Factor Estimating Network3、Reweighting Layer4、FM Prediction Layer3、实验表现IFM：样本感知的FM模型——An Input-aware Factorization Machine for Sparse Prediction1、提出原因提出了一种从全新的角度来改进 FM 的方法，尝试优化特征在不同实例场景下的表示。在实际应用中，同一特征能通常在

1、Generalized Embedding Machines for Recommender Systems链接：https://arxiv.org/pdf/2002.06561简介：该文是一篇改进因子分解机用于推荐的文章。在这项工作中，提出了一种在嵌入层面上对高阶交互信号进行建模的替代方法，即通用嵌入机（GEM）。2、Jointly Learning to Recommend and Advertise链接：https://arxiv.org/pdf/2003.00097简介：该文提出了一个

论文翻译：How to Retrain Recommender System? A Sequential Meta-Learning Method一、Abstract实际的推荐系统需要周期性地进行再训练，以获得新的交互数据来更新模型。为了追求较高的模型逼真度，通常需要根据历史数据和新数据对模型进行再训练，因为它需要同时考虑长期和短期用户偏好。然而，一个完整的模型再训练可能非常耗时，而且内存开销很大，特别是在历史数据规模很大的时候。在本文中，我们研究了推荐系统的模型再培训机制，这是一个具有很高实用价值的课

KDD Debiasing 赛题理解一、解决什么问题？A． 大主题： 为了解决多模态数据情境下（短视频，微博，明星带货等新的零售业务场景），推荐 系统面临的数据统筹，平衡和挖掘挑战。B. 具体问题 解决目前推荐系统的马太效应（曝光范围越来越窄的问题）。 能获胜的解决方案需要在历史数据中出现很少的物品上预测表现良好，所以消除 click data 偏差至关重要。 为了更贴近线下训练，线上测试的真实业务场景，训练集和测试集也有一定差距。 （主要体现在 trends 和 item popularity）

DCN的原理部分可以参考博客https://blog.youkuaiyun.com/weixin_45459911/article/details/105338275DCN与DeepFM的区别可以直观的理解为将DeepFM的FM部分替换为cross网络（当然实际是有很大区别的，不过可以这样直观了解）所以我们对照DeepFM的代码部分来着重看一下它们的区别所在。一、DCN模型1、数据输入self.feat_index = tf.placeholder(tf.int32,

DeepFM模型的论文阅读原理部分可以参见这一篇博客：https://blog.youkuaiyun.com/weixin_45459911/article/details/105359982本文就来讲述一下DeepFM的代码部分（代码参考自https://github.com/princewen/tensorflow_practice/tree/master/recommendation/Basic-DeepFM-model）一、DeepFM模型构建1、模型参数"""模型参数"""dfm_params =

原理部分可查看博客添加链接描述接下来就开始代码实现和解析（源代码参考自：https://github.com/princewen/tensorflow_practice/tree/master/recommendation/recommendation-FFM-Demo有一定的改动）数据生成部分：def gen_data(): labels = [-1, 1] y = [n...

算法原理部分可以查看博客主线1.1FM算法原理详解本文就直接上代码了，相关说明都在代码注释里。# coding:UTF-8from __future__ import divisionfrom math import expfrom numpy import *from random import normalvariate # 正态分布from datetime import ...

机器学习几乎所有的算法都要利用损失函数 lossfunction 来检验算法模型的优劣，同时利用损失函数来提升算法模型。而这个提升的过程就叫做优化(Optimizer)。下面的内容就是记录一下在深度学习中常用到的几种优化算法，以备日后查询。1、SGD、BGD、Mini-BGD把这三个放到一起是因为其有很多共性，接下来就来一一介绍：1、SGD(随机梯度下降)SGD(stochastic g...

文章目录前言基本设置初始化：模型输入权重构建Attention部分权重Embedding LayerAttention Net预测输出完整代码前言AFM模型原理可以查看这一篇博客https://blog.youkuaiyun.com/weixin_45459911/article/details/105766638本文就根据AFM的原理，将公式转化为代码进行解析和复现。原始代码参考自：https://g...

文章目录摘要算法原理1、基本原理2、网络结构3、过拟合摘要AFM全称是Attentional Factorization Machine，和NFM是同一个作者，NFM的解析可以参考这篇博客：https://blog.youkuaiyun.com/weixin_45459911/article/details/105702981AFM是在FM上的改进，它最大的特点就是使用一个attention netwo...

文章目录摘要一、Introduction二、NFM基本原理1、系统框架1、Embedding Layer2、Bi-Interaction Layer3、Hidden Layer4、Prediction Layer2、 NFM vs Wide&Deep、DeepCross三、训练1、目标函数2、参数估计3、Dropout4、Batch Normalization四、实验部分1、数据集2、实验...

文章目录摘要一、数据预处理部分二、DeepFM部分1、FM部分的特征向量化2、Deep部分的权重设置3、网络传递部分4、loss5、梯度正则6、完整代码三、执行结果和测试数据集摘要DeepFM原理部分可以参看博客https://blog.youkuaiyun.com/weixin_45459911/article/details/105359982，本文就着重介绍其代码复现部分的内容。本文所写的代码参考...

文章目录摘要一、FFM模型1、导入库2、节点类3、FFM模型构建1、初始化2、参数计算3、预测值4、更新参数5、训练6、序列化模型7、加载模型二、运行部分摘要这是一篇我看过的比较详细的用tensorflow实现的FFM模型https://www.cnblogs.com/wkang/p/9788012.html但是里面的代码部分都是截图，而且因为使用的是tensorflow，虽然代码编写便捷...

介绍两个用于查询论文源代码的网站并介绍一些常用的获取code的办法1、https://paperswithcode.com/操作如下图所示，左上角输入名字，便会出来结果，然后点击code部分即可2、https://www.profillic.com/paper/arxiv:1701.04099这个网站也是类似的操作3、如果是经典文章，那code往往网上一搜一大片，如果是比较新的文章，...

文章目录一、前言二、逻辑回归时代1、LR2、GBDT+LR三、深度学习时代1、FM2、FFM一、前言本文仅简单记叙推荐系统中CTR技术的一些历史演变，或许能够在抓耳挠腮想idea的时候从历史进程中获得一些灵感，对于一些具体的技术细节并不详细展开。在讲述之前，先了解一下CTR任务的特点：大量离散特征大量高维度稀疏特征特征工程(特征组合)对于效果非常重要二、逻辑回归时代1、LR这个阶...

用代码来解决一个分类问题数据集来自于github上的糖尿病患者数据集，进行了3:7的随机切分对数据集进行切分的代码为1、数据集切分代码# 引入所需包import numpy as npimport random#读取数据函数,输入为数据文件名和训练、测试切分比率，返回为list类型的训练数据集和测试数据集def loadData(fileName,ratio): tr...

文章目录一、摘要二、模型演变和各模型间的对比1、CTR的任务要求2、DeepFM模型的引入3、各模型间的对比4、DeepFM优势三、DeepFM模型介绍1、FM部分2、Deep部分一、摘要对于一个基于CTR预估的推荐系统，最重要的是学习到用户点击行为背后隐含的特征组合。在不同的推荐场景中，低阶组合特征或者高阶组合特征可能都会对最终的CTR产生影响。但是现存的方法总是忽视了高阶或低阶组合特征的联...

文章目录一、摘要二、介绍1、嵌入和堆叠层一、摘要这篇论文是Google 对 Wide & Deep（想了解这个模型可以点击这里）工作的一个后续研究，文中提出 Deep & Cross Network，将Wide部分替换为由特殊网络结构实现的Cross，自动构造有限高阶的交叉特征，并学习对应权重，告别了繁琐的人工叉乘。二、介绍Deep & Cross的网络结构如下图所...

文章目录一、模型引入原因1、线性模型2、DNN结构（非线性）3、Memorization与Generalization二、模型结构1、wide部分2、DNN部分3、Wide&Deep部分三、工程实现1、Data Generation2、Model Training3、Model Serving四、实验结果与总结五、代码实现一、模型引入原因在CTR应用中，常用的模型可以分为两类：线性模型...

在深度学习，尤其是推荐系统中经常会见到“长尾”这个词。那么今天就来简单说一下其意思。长尾（The Long Tail）这一概念是由“连线”杂志主编克里斯·安德森（Chris Anderson）在2004年十月的“长尾” 一文中最早提出，用来描述诸如亚马逊和Netflix之类网站的商业和经济模式。如图所示，右边蓝色长长的部分便是长尾。举个例子来简单理解一下比如手机市场，可能某果和某为手机近...

文章目录一、摘要二、介绍三、相关工作四、FNN模型介绍五、SNN模型介绍六、实验1、数据集2、性能对比3、超参数的调试4、结构选择和正则化比较5、参数分析一、摘要前置说明：这是一篇在2016年发表的论文，提出了基于FM预训练获取离散特征embedding表示，结合DNN来进行CTR的预估。因为思想并不复杂，所以本文就只选择重要内容进行记录。在进行用户点击率预测的时候，常用的用户反馈模型就两种...

在阅读深度学习类论文的时候，经常会见到embedding这个名词，却一直不知道其具体含义是什么，遂查询了很多资料，终于明白了其作用，记录于此，希望能帮助对此同样疑惑 的人。1、在讲embedding之前必须要先说一下独热编码（one-hot），如果你已经对其有一定了解，可以跳过这一段。独热编码（one-hot）的作用很简单，就是把特征全都用0、1来表示，直接看个例子：有四类人：老年人、中年人...

文章目录摘要一、用户满意度二、预测准确度1、流程2、评分推荐3、topN推荐4、评分推荐和topN推荐比较三、覆盖率1、定义2、信息熵：3、基尼系数（Gini Index）四、其余常用指标1、多样性2、新颖性3、惊喜度4、信任度5、实时性6、健壮性/鲁棒性摘要在上一篇博...

文章目录摘要一、精确率、召回率、F函数、准确率和错误率1、定义2、区别与应用二、ROC曲线、P-R曲线、AUC1、P-R曲线2、ROC曲线3、AUC摘要在涉及机器学习领域的分类问题时（尤其是衡量推荐系统性能时），经常会遇到诸如准确率、召回率、ROC、AUC等名词。本文就来详细阐述一下各类评价指数的具体含义和特点。一、精确率、召回率、F函数、准确率和错误率1、定义结合混淆矩阵进行说明1...

一、FFM原理介绍：1、FFM的引入：FFM（Field-aware Factorization Machine）其实就是FM的进阶版，我们先来回顾一下FM的公式：其中，样本x是n维向量，xi是第i个维度上的值。vi是xi对应的长度为K的隐向量，V是模型参数，所以所有样本都使用同一个V，即x1,1与x2,1都使用v1。FFM则是将隐向量v又进一步细化（引入了field的概念，即将特征所在...

文章目录一、FM算法原理1、什么是FM2、为什么引入FM（FM优势）3、交叉项分解推导4、权值求解（迭代更新）二、Python实现本文参考自：https://www.cnblogs.com/wkang/p/9588360.html，结合自身的理解和思考进行了改动与补充一、FM算法原理1、什么是FMFM全称为Factor Machine，中文翻译为因子分解机。2、为什么引入FM（FM优势）...