dreamfantacy的博客

faiss使用faiss是为稠密向量提供高效相似度搜索和聚类的框架。由Facebook AI Research研发。具有以下特性：1、提供多种检索方法2、速度快3、可存在内存和磁盘中4、C++实现，提供Python封装调用。5、大部分算法支持GPU实现下面，具体讲解了faiss常用的几种实现方法。import faissfrom faiss import normalize_L...

FM论文地址：https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf1、FM背景在计算广告和推荐系统中，CTR预估(click-through rate)是非常重要的一个环节，判断一个商品的是否进行推荐需要根据CTR预估的点击率来进行。在进行CTR预估时，除了单特征外，往往要对特征进行组合。对于特征组合来说，业界现在通用的做法主要有...

简介逻辑回归虽然名字里面有回归，但是主要用来解决分类问题。逻辑回归输出是在线性回归的基础上，加上了Sigmoid激活函数后的结果。下面，我们首先了解下什么是线性回归。一、线性回归（Linear Regression）线性回归的表达式：f(x)=wTx+bf(x) = w^Tx + bf(x)=wTx+b线性回归对于给定的输入xxx，输出的是一个数值yyy ，因此它是一个解决回归问题的...

推荐系统CTR预估之评价指标推荐系统二分类评价指标本文重点介绍推荐系统的二分类预估评价指标。二分类，即只有正样本和负样本两种情况。常用的评价指标有Precision，Recall，F1-score，AUC，Logloss，Normalized Logloss，Calicration等。其中，AUC是最常用，也是最重要的评价指标。下面，将对这些评价指标简单介绍。如果我们对一个样本进行分类，会...

基于物品的协同过滤算法itemCF基本思想该算法向用户推荐与他们之间喜欢的物品相似的其它物品，例如，如果你购买过《数据挖掘导论》，会向你推荐《机器学习》。itemCF算法通过计算用户的历史行为记录，来分析物品之间的相似度：如果喜欢物品a的用户大多数也喜欢物品b，那么认为物品A与物品B具有一定的相似度。这就很容易为推荐结果做出合理的解释。假设，N(a)N(a)N(a)和N(b)N(b)N(b...

基于用户的协同过滤算法userCF1.1 相似度计算通过计算用户之间的相似度。这里的相似度指的是两个用户的兴趣相似度。假设对于用户uuu和vvv，N(u)N(u)N(u)指的是用户uuu喜欢的物品集合，N(v)N(v)N(v)指的是用户vvv喜欢的物品集合，可以通过Jaccard公式计算uuu和vvv的相似度：Wuv=∣N(u)∣⋂∣N(v)∣∣N(u)∣⋃∣N(v)∣W_{uv} = ...

该召回手段，是基于google提出的word2vec方法，来计算不同items的隐向量，并通过计算不同items间的向量距离，来判断item-to-item间的相似度。参考paper如下：https://arxiv.org/vc/arxiv/papers/1603/1603.04259v2.pdf综述许多协作过滤（CF）算法是通过分析items间的关系来计算相似度的。最近，自然语言处理方面...

所谓召回，是指从上百千万的商品中，粗排出几百上千的商品，供打分模型精排。热门召回是其中最简单的一种召回方式。具体实现流程如下：统计出指定时间窗口的商品的曝光量，点击量，从而计算出曝光点击比，即CTR，根据ctr大小作为热门程度的量化指标；当然也可以参考其它指标，如下载展示比，播放展示比等等；可以从所有商品中，按照CTR排序，选出topK个，作为召回结果；也可以根据商品的标签信息，按标签g...

原文链接：https://blog.youkuaiyun.com/jinping_shi/article/details/78334362以商品的点击率预测为例：CTR的值等于点击量除以曝光量，公式如下：r=clickshow r = \frac {click} {show} r=showclick​但在实际应用中会碰到两个问题：新商品点击率的预测与计算对于新上线的商品，其曝光为0，...

基本思路als(alternative least square)，即交替最小二乘法，是用于计算损失函数最小化的一种方法，当然更为熟知的还有随机梯度下降法。再正式介绍als之前，需要先引入矩阵分解的思想。假定已有user对item的评分矩阵RRR，希望通过矩阵分解来预测user对其它item的评分，可以通过构造两个矩阵PPP和QQQ，使得，R~=PQT\tilde{R} = PQ^TR...

swing算法基本原理swing指的是秋千，例如用户u和用户v，都购买过同一件商品IiI_iIi​，则三者之间会构成一个类似秋千的关系图。若用户u和用户v之间除了购买过IiI_{i}Ii​外，还购买过商品IjI_{j}Ij​，则认为两件商品是具有某种程度上的相似的。也就是说，商品与商品之间的相似关系，是通过用户关系来传递的。为了衡量物品 i 和 j 的相似性，考察都购买了物品 i​ 和 j​...