
推荐
简单点1024
熟悉ML,DM过程,参与ETL架构搭建,进行BI分析,热爱新技术
展开
-
MapReduce-ItemCF-4
u1, v1,1u1,v2,1u2,v3,1MR1(用户物品的倒排列表)key: useridvalue: itemid:score,itemid,scoreMR2(共献矩阵,输入为MR1的输出)key: itemid1,itemid2value:{userid1, userid2,userid3}MR3(共献矩阵和评分矩阵相乘)分布式缓存map预先存储共献...原创 2018-09-20 19:19:30 · 245 阅读 · 0 评论 -
Mapreduce-ItemCF-3
基于物品的协同过滤ItemCF数据集字段:1. User_id: 用户ID2. Item_id: 物品ID3. preference:用户对该物品的评分 算法的思想:1. 建立物品的同现矩阵A,即统计两两物品同时出现的次数数据格式:Item_id1:Item_id2 次数2. 建立用户对物品的评分矩阵B,即每一个用户对某一物品的评分数...转载 2018-09-20 19:10:40 · 210 阅读 · 0 评论 -
MapReduce计算ItemCF-2
推荐系统的基本架构:实时推荐和离线推荐源码:github注:以下所有数据之间都是以 \t 隔开的,博客里显示效果不好 数据集:1 101 51 102 31 103 32 101 22 102 32 103 52 104 23 101 23 104 43 105 53 107 54 101 54 103 34 104 44 106 45 1...转载 2018-09-20 19:04:51 · 449 阅读 · 0 评论 -
Mapreduce实现ItemCF
ItermCF的基本思想基于物品相似度的协同过滤推荐的思想大致可分为两部分:1.计算物与物之前的相似度 2.根据用户的行为历史,给出和历史列表中的物品相似度最高的推荐通俗的来讲就是:对于物品 A,根据所有用户的历史偏好,喜欢物品 A 的用户都 喜欢物品 C,得出物品 A 和物品 C 比较相似,而用户 C 喜欢物品 A,那么可以推断出 用户 C 可能也喜欢物品 C。Iter...转载 2018-09-20 18:57:58 · 751 阅读 · 0 评论 -
TADW(Embedding:Network Representation Learning with Rich Text Information)
这次学习NetworkRepresentation Learning with Rich Text Information这篇论文,是关于embedding方面的。1 摘要表示学习已经在很多项目任务中表现出了它的功效,比如图像识别或文本采集。网络表示学习旨在对于每个节点的进行矢量表示,这种方法慢慢被认为是网络分析里很重要的一部分。大多数网络学习方法都通过探讨网络结构来学习。事实上,网络节...转载 2018-09-02 10:05:52 · 4987 阅读 · 2 评论 -
语义相似度算法总结1
转载请注明出处: http://blog.youkuaiyun.com/u013074302/article/details/76422551DSSM, Match-LSRM, MatchSRNN导语在NLP领域,语义相似度的计算一直是个难题:搜索场景下query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、C...转载 2018-08-29 21:46:50 · 18724 阅读 · 0 评论 -
GraphEmbedding
1. http://cazabetremy.fr/Teaching/catedra/6-Embedding.pdf2.https://yafei002.github.io/2018/04/11/Network-Embedding/3. http://i.stanford.edu/~jure/pub/talks2/leskovec-networks-01-nodes.pdf4. http...原创 2018-08-29 11:44:14 · 1182 阅读 · 0 评论 -
用户画像总结
基本信息,偏好信息,向量化信息,知识图谱,标签系统,正负反馈信息,社交关系,1. 深度学习方法:https://blog.youkuaiyun.com/xundh/article/details/783738302. 基本信息表构建:https://blog.youkuaiyun.com/wang1127248268/article/details/77367119?locationNum=6&fps=1...原创 2018-08-29 10:43:15 · 990 阅读 · 0 评论 -
Cascade bandit 和DCM bandit
摘要 当用户在搜索引擎上查询感兴趣的条目时,通常得到一个包含相关网页链接的列表。用户从第一个网页链接开始,浏览所有的感兴趣的链接并点击,直至得到想要的结果或者是最后一个链接为止。这种用户浏览行为称为dependent click model(DCM)。论文通过最大化推荐的网页链接推荐满意度,向用户推荐最合适的网页链接。在此报告中,先介绍与论文相关的多臂赌博机问题(multi-armed ba...转载 2018-08-29 10:35:37 · 767 阅读 · 0 评论 -
推荐系统中的EE和bandit算法
经常听身边的人说起使用推荐系统的感受,“某宝某东就是看什么给推什么”,使用者对推荐系统产生厌倦;也有听做推荐系统的同学抱怨推荐的冷启动问题,如何去尝试新用户的兴趣点,尝试到什么时候地步才算真正掌握了用户的兴趣,用户的兴趣发生改变如何灵活的调整推荐策略。这些,都与今天聊到的E&E问题有关,而Bandit算法是解决E&E问题的一种思路。本文首先描述E&E问题的及策略框架,然后介...转载 2018-08-28 22:39:52 · 6364 阅读 · 1 评论 -
Bandit总结3详细版
声明原文地址:https://blog.youkuaiyun.com/heyc861221/article/details/80129310bandit-RL:https://blog.youkuaiyun.com/qq_32690999/article/details/78996398Contextual bandit 在推荐系统中的应用:https://zhuanlan.zhihu.com/p/357532...转载 2018-08-28 21:48:22 · 2486 阅读 · 2 评论 -
Bandit总结2
原创: 石晓文 小小挖掘机 2018-06-09 推荐系统遇上深度学习系列:推荐系统遇上深度学习(一)--FM模型理论和实践推荐系统遇上深度学习(二)--FFM模型理论和实践推荐系统遇上深度学习(三)--DeepFM模型理论和实践推荐系统遇上深度学习(四)--多值离散特征的embedding解决方案推荐系统遇上深度学习(五)--Deep&Cross Networ...转载 2018-08-28 13:28:57 · 2701 阅读 · 0 评论 -
Bandit总结1
假设我有5枚硬币,都是正反面不均匀的。我们玩一个游戏,每次你可以选择其中一枚硬币掷出,如果掷出正面,你将得到一百块奖励。掷硬币的次数有限(比如10000次),显然,如果要拿到最多的利益,你要做的就是尽快找出“正面概率最大”的硬币,然后就拿它赚钱了。这个问题看起来很数学化,其实它在我们的生活中经常遇见。比如我们现在有很多在线场景,遇到一个相同的问题:一个平台这么多信息,该展示什么给用户,才能有最...转载 2018-08-28 13:25:26 · 523 阅读 · 0 评论 -
推荐和匹配推荐
1. 推荐场景:推游戏和推好友;召回-排序-数据分析2. 匹配场景:600人如何分配为100组,每组3*3的; 让游戏更加焦灼,即最好两组的得分尽可能相近。原创 2018-08-27 22:02:25 · 631 阅读 · 0 评论 -
推荐系统的排序指标
1.Mean Average Precision (MAP)AP=∑nij=1P(j).yi,j∑nij=1yi,jAP=∑j=1niP(j).yi,j∑j=1niyi,j 其中, yi,jyi,j:排序中第j个元素对于查询i是否是相关的;相关为1,不相关为0。 P(j)=∑k:πi(k)≤πi(j)y(i,k)πi(j)P(j)=∑k:πi(k)≤πi(j)y(i,k)πi(j) 其中, πi(...转载 2018-04-11 21:42:26 · 2004 阅读 · 0 评论 -
爱奇艺个性化推荐排序实践
爱奇艺个性化推荐排序实践2017-11-14 14:58爱奇艺/视频/测评在海量的内容在满足了我们需求的同时,也使我们寻找所需内容更加困难,在这种情况下个性化推荐应运而生。在当前这个移动互联网时代,除了专业内容的丰富,UGC内容更是爆发式发展,每个用户既是内容的消费者,也成为了内容的创造者。这些海量的内容在满足了我们需求的同时,也使我们寻找所需内容更加困难,在这种情况下个性化推荐应运而生。个性化推...转载 2018-04-11 21:39:02 · 484 阅读 · 0 评论