<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[mudan97的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/mudan97</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; mudan97]]></copyright><item><title><![CDATA[Word2vec]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116199253</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116199253</guid><author>mudan97</author><pubDate>Tue, 27 Apr 2021 13:53:57 +0800</pubDate><description><![CDATA[Word2vec的出现改变了OneHot的高维稀疏的困境，自此之后各种xxx2vec如雨后春笋般冒了出来，用来解决各种嵌入式编码，包括后来的各种Embedding方式其实很多本质上都是Word2vec的延伸和优化。

本主题文章将会分为三部分介绍，每部分的主题为：


	word2vec的前奏-统计语言模型（点击阅读）
	
	
	word2vec详解-风华不减
	
	
	其他xxx2vec论文和应用介绍
	
1、背景介绍

word2vec 是Google 2013年提出的用于计算词向量的工具，在论文Eff]]></description><category></category></item><item><title><![CDATA[item2vec]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116195293</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116195293</guid><author>mudan97</author><pubDate>Tue, 27 Apr 2021 11:04:04 +0800</pubDate><description><![CDATA[本主题文章将会分为三部分介绍，每部分的主题为：


	word2vec的前奏-统计语言模型
	
	
	word2vec详解-风华不减
	
	
	其他xxx2vec论文和应用介绍
	


Item2vec：论文《Item2Vec：Neural Item Embedding for Collaborative Filtering》

来自于微软2016年发表在RecSys上的，因为word2vec和item2vec是在做推荐系统过程中比较常用的两个算法，所以该部分先介绍item2vec，然后再展开其他xxx2.]]></description><category></category></item><item><title><![CDATA[Doc2vec]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116194882</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116194882</guid><author>mudan97</author><pubDate>Tue, 27 Apr 2021 10:56:35 +0800</pubDate><description><![CDATA[Doc2vec是Mikolov2014年提出的论文，也被成为Paragraph Vector，下面的内容分为三方面进行介绍，分别为：


	Doc2vec的原理
	
	
	Doc2vec在推荐系统中的应用启发
	
	
	Doc2vec的算法实现
	
1、Doc2vec的算法原理

如何学习得到Word的Vector表示

一个非常流行的学习Word Vector的方法如下图所示：





Doc2vec的两种算法

Doc2vec其实包含了两种算法：


	PV-DM（Distributed Mem...]]></description><category></category></item><item><title><![CDATA[Sentence2vec]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116190443</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116190443</guid><author>mudan97</author><pubDate>Tue, 27 Apr 2021 10:23:06 +0800</pubDate><description><![CDATA[万物皆可Embedding系列会结合论文和实践经验进行介绍，前期主要集中在论文中，后期会加入实践经验和案例，目前已更新：


	万物皆可Vector之语言模型：从N-Gram到NNLM、RNNLM
	
	
	万物皆可Vector之Word2vec：2个模型、2个优化及实战使用
	
	
	Item2vec中值得细细品味的8个经典tricks和thinks
	
	
	Doc2vec的算法原理、代码实现及应用启发
	
	
	Sentence2Vec &amp; GloVe 算法原理、推导与实现
	
Sentenc]]></description><category></category></item><item><title><![CDATA[特征设计]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116158336</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116158336</guid><author>mudan97</author><pubDate>Mon, 26 Apr 2021 15:39:47 +0800</pubDate><description><![CDATA[特征设计是整个特征工程中最消耗时间的一步，但其却也是十分重要的一步。不同领域的特征在设计上也会有所区别（当然也存在相同的地方），这时候需要结合领域知识进行思考和总结，制定适合自己业务的特征，然后可以进行相关的特征可用性评估，决定开发哪些基础的特征。

业务理解

在具体实践中，我们使用的特征通常分为四大维度：


	用户维度特征
	
	
	事物维度特征
	
	
	类别维度特征
	
	
	组合属性特征
	
对于用户维度的特征，其可以划分为：


	客观属性：即事物本身的属性，不因人的看法而改变
	
	
	主观]]></description><category></category></item><item><title><![CDATA[特征获取]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116158098</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116158098</guid><author>mudan97</author><pubDate>Mon, 26 Apr 2021 15:36:54 +0800</pubDate><description><![CDATA[基础数据是特征的基石，因此在考虑特征构建的时候一定要注意基础数据的完备性，同时获取特征之后特征的命名一定要规范，特征的存储设计也一定要符合自己的业务需求。


特征获取

特征往往是依赖于基础数据而存在的，这里的基础数据包括用户注册时填写的内容信息，平台中内容上传时填写的属性信息，用户在平台内产生的各种行为信息。而后期我们所有构建的特征都是依赖于这三大类数据，用户维度特征依赖用户内容信息，事物维度特征依赖事物属性信息，用户和事物之间的交互特征依赖于用户的各种行为，像一些经过更高层次的加工信息（比如embe.]]></description><category></category></item><item><title><![CDATA[数据清洗]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116157718</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116157718</guid><author>mudan97</author><pubDate>Mon, 26 Apr 2021 15:30:22 +0800</pubDate><description><![CDATA[特征工程的完整流程是：特征设计 -&gt; 特征获取 -&gt; 特征处理 -&gt; 特征存储 -&gt; 特征监控。前边介绍了那么多，相当于是对特征设计、特征获取、特征存储进行了说明，而特征工程中最重要的环节则是特征处理。特征处理中还包括：数据清洗、特征生成、特征拼接、特征处理、特征转换、特征选择。本篇主要介绍数据清洗、特征生成、特征拼接

数据清洗

从特征工程角度讲，数据清洗是特征工程的前置阶段（但是也会贯穿整个数据应用过程），其本义是对数据进行重新的审查和校验，目的在于删除重复信息、纠正存在的错误]]></description><category></category></item><item><title><![CDATA[类别特征]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116157484</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116157484</guid><author>mudan97</author><pubDate>Mon, 26 Apr 2021 15:25:44 +0800</pubDate><description><![CDATA[特征工程的完整流程是：特征设计 -&gt; 特征获取 -&gt; 特征处理 -&gt; 特征存储 -&gt; 特征监控。本篇主要介绍如何对类别特征进行处理。

类别特征即特征的属性值是一个有限的集合，常见几种处理方法为：


	序号编码
	
	
	One-Hot（独热）编码
	
	
	哑变量（虚拟）编码
	
	
	二进制编码
	
	
	效应编码
	
	
	哈希编码
	
	
	统计学中常用编码
	
1、序号编码

序号编码（Label Encoding）即通过数字序号和值进行一一映射达到编码的目的。但它适用于]]></description><category></category></item><item><title><![CDATA[连续特征]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116156926</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116156926</guid><author>mudan97</author><pubDate>Mon, 26 Apr 2021 15:20:15 +0800</pubDate><description><![CDATA[连续特征离散化可以使模型更加稳健，比如当我们预测用户是否点击某个商品时，一个点击该商品所属类别下次数为100次和一个点击次数为105次的用户可能具有相似的点击行为，有时候特征精度过高也可能是噪声，这也是为什么在LightGBM中，模型采用直方图算法来防止过拟合。

连续特征经常是用户或者事物对应一些行为的统计值，常见的处理方法包括：


	归一化
	
	
	标准化
	
	
	离散化
	
	
	缺失值处理
	
这里要特别注意一下归一化和标准化的区别，在平常的使用中，很多同学都容易把这两者的概念混淆，因为两者的]]></description><category></category></item><item><title><![CDATA[特征交叉]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116156708</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116156708</guid><author>mudan97</author><pubDate>Mon, 26 Apr 2021 15:10:13 +0800</pubDate><description><![CDATA[组合特征也叫特征交叉（Feature Crosses），即不同类型或者不同维度特征之间的交叉组合，其主要目的是为了弥补CTR场景中早期的模型无法有效的进行特征组合而产生的想法和实践，随着算法模型的进步，虽然一些机器学习排序模型（GBDT+LR、FM等）和深度学习排序模型能够捕获特征之间的联系，但是前期仍然会生成一些组合特征，比如用户在某些类别下的行为统计，性别下的数据统计等。

日常工作场景中的特征往往都是以用户和其对应的属性作为出发点，然后和物品对应的属性特征或者上下文特征进行交叉组合，比如：


	用户]]></description><category></category></item><item><title><![CDATA[词袋模型]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116156549</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116156549</guid><author>mudan97</author><pubDate>Mon, 26 Apr 2021 15:06:40 +0800</pubDate><description><![CDATA[文本特征在内容平台内使用的场景和方式更多，但并不等于说其在其他形式的平台中无用户之地，比如：电商平台中的商品标题、商品介绍、评论等，商品平台中视频标题、视频介绍、评论等。

利用文本数据可以做的事情很多，包括但不局限于：关键词提取、文本分类、文本聚类、文本情感分析、文本离散表示、文本生成等。在推荐领域，通常是基于文本内容进行挖掘，从而提取出有效特征来表示物品，可以在CTR模型中使用。


当然上边提到的主要是如何在CTR模型中利用文本内容，在召回或者物品画像也可以对文本内容进行挖掘，这里不再赘述，在后续的召]]></description><category></category></item><item><title><![CDATA[文本特征处理]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116145896</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116145896</guid><author>mudan97</author><pubDate>Mon, 26 Apr 2021 14:35:47 +0800</pubDate><description><![CDATA[文本特征在内容平台内使用的场景和方式更多，但并不等于说其在其他形式的平台中无用户之地，比如：电商平台中的商品标题、商品介绍、评论等，商品平台中视频标题、视频介绍、评论等。

利用文本数据可以做的事情很多，包括但不局限于：关键词提取、文本分类、文本聚类、文本情感分析、文本离散表示、文本生成等。在推荐领域，通常是基于文本内容进行挖掘，从而提取出有效特征来表示物品，可以在CTR模型中使用。


当然上边提到的主要是如何在CTR模型中利用文本内容，在召回或者物品画像也可以对文本内容进行挖掘，这里不再赘述，在后续的召]]></description><category></category></item><item><title><![CDATA[特征归一化]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116144309</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116144309</guid><author>mudan97</author><pubDate>Mon, 26 Apr 2021 10:36:03 +0800</pubDate><description><![CDATA[写在前面

Feature scaling，常见的提法有“特征归一化”、“标准化”，是数据预处理中的重要技术，有时甚至决定了算法能不能work以及work得好不好。谈到feature scaling的必要性，最常用的2个例子可能是：


	特征间的单位（尺度）可能不同，比如身高和体重，比如摄氏度和华氏度，比如房屋面积和房间数，一个特征的变化范围可能是[1000, 10000]，另一个特征的变化范围可能是[−0.1,0.2]，在进行距离有关的计算时，单位的不同会导致计算结果的不同，尺度大的特征会起决定性作用，]]></description><category></category></item><item><title><![CDATA[特征工程]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116143338</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116143338</guid><author>mudan97</author><pubDate>Mon, 26 Apr 2021 09:50:16 +0800</pubDate><description><![CDATA[特征工程可以解决什么样的问题？

特征工程是一个非常重要的课题，是机器学习中不可缺少的一部分，但是它几乎很少出现于机器学习书本里面的某一章。在机器学习方面的成功很大程度上在于如果使用特征工程。在机器学习中，经常是用一个预测模型（线性回归，逻辑回归，SVD等）和一堆原始数据来得到一些预测的结果，人们需要做的是从这堆原始数据中去提炼较优的结果，然后做到最优的预测。这个就包括两个方面，第一就是如何选择和使用各种模型，第二就是怎么样去使用这些原始的数据才能达到最优的效果。那么怎么样才能够获得最优的结果呢？

贴上一]]></description><category></category></item><item><title><![CDATA[正负样本]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116064052</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116064052</guid><author>mudan97</author><pubDate>Fri, 23 Apr 2021 17:23:48 +0800</pubDate><description><![CDATA[“
目前推荐系统中给用户进行推荐大部分都是基于CTR预估来做的，CTR预估中很重要的一环便是正负样本的选择，那么不同业务场景下我们如何定义正负样本、如何控制正负样本的比例、正负样本选择有哪些技巧？虽然这些只是模型训练中的一环，但却也扮演着重要的角色。


分析业务场景

不同业务场景下对应的kpi也是不同的，那么模型训练的目标也是不一致的，比如kpi是点击率，那么模型训练的目的就是增加推荐的准确性，提升用户的准确率；如果kpi是交易额，那么模型训练的目的就要考虑用户的下单率和物品单价，不能仅仅考虑点击。

]]></description><category></category></item><item><title><![CDATA[模型训练]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116063932</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116063932</guid><author>mudan97</author><pubDate>Fri, 23 Apr 2021 17:21:50 +0800</pubDate><description><![CDATA[1、总诀式——定义问题

What，How，Why。首先要弄清楚自己要干什么，然后调研相关的技术确定怎么解决问题，最后反思自己为什么要用这个方案解决这个问题，有没有更好的思路方法。

以电商推荐系统中的点击率预估为例。首先明确我们的目标是优化线上的商品点击率，其次可以通过点击率预估算法来离线训练模型，线上进行预估，将点击率较高的商品推荐给用户，这样做的原因是点击率预估是目前业界比较成熟的解决方案，且能够取得不错的效果，如果在实践中遇到问题，也便于解决问题。当然也会有一些其他的方案，比如通过深度学习来做CTR]]></description><category></category></item><item><title><![CDATA[机器学习]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116063064</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116063064</guid><author>mudan97</author><pubDate>Fri, 23 Apr 2021 17:10:04 +0800</pubDate><description><![CDATA[传统机器学习推荐模型演化



传统机器学习推荐模型演化

简单讲，传统推荐模型的发展主要由以下几部分组成

协同过滤算法族

即上图中蓝色部分，协同过滤是推荐系统的首选模型，从物品相似度和用户相似角度出发，衍生出了ItemCF和UserCF两种算法。为了使协同过滤衍生出矩阵分解模型（Matrix Factorization，MF），并发展出矩阵分解的各分支模型。

逻辑回归模型族

协同过滤仅利用用户和物品之间显式或者隐式反馈信息，逻辑回归能够利用和融合更多用户、物品和上下文特征。从LR模型衍生出的各种模]]></description><category></category></item><item><title><![CDATA[评估方法]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116058340</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116058340</guid><author>mudan97</author><pubDate>Fri, 23 Apr 2021 15:51:18 +0800</pubDate><description><![CDATA[推荐系统覆盖于生活中的各个方面，无论是电商购物，还是内容咨询，都离不开它的身影，作为一名推荐算法从业者，深知做好推荐系统的必要性，那么做好推荐系统的评估就显得至关重要了，其主要体现在：


	推荐系统评估所采用的指标直接决定了推荐系统的优化方向是否客观合理
	
	
	推荐系统评估是机器学习团队与其他团队沟通合作的接口性工作
	
	
	推荐系统评估指标的选取直接选定了推荐系统是否符合公司的商业目标和发展愿景
	
做好推荐系统的评估的前提是必须要搞明白评估指标有哪些？分别适用于什么场景？怎么选择？

离线评估的]]></description><category></category></item><item><title><![CDATA[排序方法]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116046000</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116046000</guid><author>mudan97</author><pubDate>Fri, 23 Apr 2021 15:30:41 +0800</pubDate><description><![CDATA[Learning to rank（LTR，L2R）也叫排序学习，泛指机器学习中任何用户排序的技术，是指一类监督学习（Supervised Learning）排序算法。LTR被应用在很多领域，比如信息检索（Information Retrieval）、推荐系统（Recommend System）、搜索引擎（Search Engine）。

LTR框架

一般来讲，根据机器学习的“四大支柱”，LTR分为三类方法：Pointwise Approach、Pairwise Approach、Listwise Appr]]></description><category></category></item><item><title><![CDATA[深度学习]]></title><link>https://blog.youkuaiyun.com/mudan97/article/details/116018641</link><guid>https://blog.youkuaiyun.com/mudan97/article/details/116018641</guid><author>mudan97</author><pubDate>Thu, 22 Apr 2021 16:16:14 +0800</pubDate><description><![CDATA[]]></description><category></category></item></channel></rss>