Ezail的博客

文章目录Wide & Deep Learning for Recommender Systems1.论文名词解释1.1 Memorization 和 Generalization1.2 Wide 和 Deep1.3 Cross-product transformation2. Wide & Deep Model2.1 推荐系统概览2.1.1 介绍2.1.2 LR2.1.3 Embe...

我们之前讨论推荐系统的UserCF算法和ItemCF等算法都是以拥有大量用户行为数据为先决条件，并以此对物品或者用户进行自动聚类。但是对于一个刚刚开始运行推荐系统的应用的网站来说，如何在没有大量用户行为数据的情况下设计个性化推荐系统并且让用户对推荐系统满意，从而愿意使用推荐系统，这就是冷启动问题。对于冷启动问题，一般分为三类： 一）用户冷启动：如何对新用户做个性化推荐。 二）物品冷启动...

说起交叉熵损失函数「Cross Entropy Loss」，脑海中立马浮现出它的公式：我们已经对这个交叉熵函数非常熟悉，大多数情况下都是直接拿来使用就好。但是它是怎么来的？为什么它能表征真实样本标签和预测概率之间的差值？上面的交叉熵函数是否有其它变种？1.交叉熵损失函数的推导我们知道，在二分类问题模型：例如逻辑回归「Logistic Regression」、神经网络「Neural ...

在去年第一次参加ctr比赛中碰到类别特征时，第一反应是进行one-hot编码而不能使用序号编码，因为序号编码给类别的不同属性赋予了数值的意义，然而在实际比赛中发现，one-hot编码后的效果并不好，甚至和直接序号编码的效果不相上下，但是带来训练时间的增加非常大，那么为什么对类别进行one-hot编码和label编码效果差不多，而不是更好呢？在参加比赛之后我对这些有了更多的见解，在此总结。其实对...

最近开始复习一些基础，查漏补缺。

虽然还没有在面试中遇到面试官问这个问题，但是我认为这是一个考察算法工程师基础的很好的一个问题。在这里我从多方位总结一下我的理解，如有错误，欢迎指正。1. 从机器学习三要素的角度：1.1 模型本质上来说，他们都是监督学习，判别模型，直接对数据的分布建模，不尝试挖据隐含变量，这些方面是大体相同的。但是又因为一个是线性模型，一个是非线性模型，因此其具体模型的结构导致了VC维的不同：其中，L...

这里总结一下L1范数优化方法近端梯度下降法。由浅入深可以总结为三个层次：第一层次：直接记住结论第二层次：知道上面的proximal mamping的如何推导出结论的分段函数介绍一下上面的prox映射proximal映射是关于函数h的一个映射第三层次：知道proximal mapping在这里代表什么，知道如何从目标函数展开泰勒公式，从而得到proximal mappin...

LFM在topN推荐时，重要参数有四个：1.隐特征的个数F 2.学习率alpha 3.正则化参数lambda 4.正负样本比例ratio通过实验发现，ratio对算法性能影响最大(控制变量法)。随着负样本的增多，LFM的准确率和召回率有明显的提高，但是覆盖率不断降低，新颖度不断降低。在movielens数据集上的结果，可以发现LFM总是优于itemcf和usercf，但是LFM不适合稀疏的数据...

最近在拜读项亮博士的《推荐系统实践》，系统的学习一下推荐系统的相关知识。今天学习了其中的隐语义模型在Top-N推荐中的应用，在此做一个总结。隐语义模型LFM和LSI，LDA，Topic Model其实都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。这些技术一开始都是在文本挖掘领域中提出来的，近些年它们也被不断应用到其他领域中，并得到了不错的应用效果。比如，在推...

在Logistic regression中，所学习的系统方程为：　　　　其对应的损失函数为：　　　　可以看出，给定一个样本，就输出一个概率值，该概率值表示的含义是这个样本属于类别’1’的概率，因为总共才有2个类别，所以另一个类别的概率直接用1减掉刚刚的结果即可。如果现在的假设是多分类问题，比如说总共有k个类别。在softmax regression中这时候的系统的方程为：...

stacking的过程有一张图非常经典，如下：虽然他很直观，但是没有语言描述确实很难搞懂。   上半部分是用一个基础模型进行5折交叉验证，如：用XGBoost作为基础模型Model1，5折交叉验证就是先拿出四折作为training data，另外一折作为testing data。注意：在stacking中此部分数据会用到整个traing set。如：假设我们整个training s...

一： 推荐系统任务：联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产中的双赢。长尾理论：传统80/20(%80销售额来自于20%热门商品)原则在互联网加入下受到挑战。长尾商品销售额是个不容小觑的数字，也许会超过热门商品带来的销售额。热门商品代表绝大多数用户需求，而长尾商品代表一小部分用户个性化需求。因此要发掘长尾...

简单的内容关联算法算法的基本原理是将一个item的基本属性、内容、一级/二级类别标签等信息提取出来，抽成一个taglist，为每个tag赋一个权重。将所有item对应的taglist做一下倒排转换，放到倒排索引服务器中存储起来。当需要对某一个item做相关推荐的时候，将该item对应的taglist拿出来拼成一个类似搜索系统中的query表达式，再将召回的结果做一下排序作为推荐结果输出。当需要...

上一讲讲到userCF算法，该算法是根据用户之间相似度，来给目标用户推荐与他们相似用户产生过行为的物品。该算法在某些应用场景并不适用。首先随着网站用户数目越来越大，计算用户兴趣相似矩阵越来越困难，运算时间复杂度和空间复杂度和用户增长近似于平方关系。其次，基于用户的协同过滤很难对推荐结果作出解释。由此产生了基于物品的协同过滤（itemCF）给用户推荐和他们之前喜欢的物品相似的物品。不过ItemC...

最近在复习特征重要性时候，考虑到我们在使用GBDT、RF、Xgboost等树类模型建模时，往往可以通过feature_importance 来返回特征重要性，下面收集整理了一下各模型输出特征重要性的原理与方法；1. 计算特征重要性方法首先，目前计算特征重要性计算方法主要有两个方面：1.1 训练过程中计算训练过程中通过记录特征的分裂总次数、总/平均信息增益来对特征重要性进行量化。例...