
推荐系统
文章平均质量分 89
冰阔落
Stay hungry, Stay foolish, Stop when you are perfect.
展开
-
设计 owllook 网络小说推荐系统
目录 数据推荐算法协同过滤基于流行度的推荐基于用户标签相似度的推荐 评价指标算法对比推荐10本书籍推荐20本书籍 推荐解释探讨结论 本文记录了我对owllook.net这一网络小说搜索引擎的推荐系统的分析与设计过程。这个项目是开源项目,地址在owllook repo,目前已经积累了一定的数据量,需要一个靠谱的推荐系统。注意我用到的数据是内部数据,并没有开源。 本文使用推荐算法包括:基于用户的协同过滤(UserCF...转载 2021-05-19 13:53:59 · 4671 阅读 · 2 评论 -
【动态规划】将一个包含 m 个整数的数组分成 n 个数组,每个数组的和尽量接近
1 背景ClickHouse集群缩容,为保证数据不丢失,计划将需要缩容的节点上的数据,迁移到其他节点上,保证迁移到每个机器上的数据量尽量均衡。数据的迁移已partition为单位,已知每个partition的数据量。2 抽象将一个包含m个整数的数组分成n个数组,每个数组的和尽量接近3 思路这个问题是典型的动态规划的问题,理论上是无法找到最优解的,但是本次只是为了解决实际生产中的问题,而不是要AC,所以我们只需要找到一个相对合理的算法,使得partition的分配相对均衡就好了。输入:转载 2020-09-09 10:22:52 · 8676 阅读 · 3 评论 -
基于Redis的推荐系统开发
介绍推荐系统并不总是需要用到复杂的机器学习技术.只要手头上有足够的数据,你就可以花很少的功夫开发一个推荐系统.一个最简单的推荐系统可以只是从用户感兴趣的表中查找所需要的推荐信息.当你已经有很多用户和其行为的数据时,使用协同过滤就是一个简单的推荐方案.例如,对于一个运用了协同过滤推荐算法的电子商务网站,你就可以知道哪些购买过睡袋的用户也购买了手电筒,灯笼和驱虫剂.而基于内容的推荐系统则进一步,它具有强大的预测功能,如基于用户的交互就能预测一个用户想要什么.本文将演示如何使用Redis基于用户的兴趣和协同过滤算转载 2020-08-17 15:25:38 · 1988 阅读 · 0 评论 -
网易云 6 亿用户音乐推荐算法
网易云音乐是音乐爱好者的集聚地,云音乐推荐系统致力于通过 AI 算法的落地,实现用户千人千面的个性化推荐,为用户带来不一样的听歌体验。本次分享重点介绍 AI 算法在音乐推荐中的应用实践,以及在算法落地过程中遇到的挑战和解决方案。将从如下两个部分展开:AI 算法在音乐推荐中的应用 音乐场景下的...转载 2019-12-03 11:58:10 · 1259 阅读 · 0 评论 -
今日头条核心技术“个性推荐算法”揭秘
互联网给用户带来了大量的信息,满足了用户在信息时代对信息的需求,也使得用户在面对大量信息时无法从中获得对自己真正有用的那部分信息,对信息的使用效率反而降低了,而通常解决这个问题最常规的办法是推荐系统,推荐系统能有效帮助用户快速发现感兴趣和高质量的信息,提升用户体验,增加用户使用产品时间,并有效减少用户浏览到重复或者厌恶的信息带来的不利影响。通常推荐系统越精准,用户体验就越好,用户停留时间也会越长,转载 2017-12-20 16:01:51 · 5962 阅读 · 0 评论 -
基于用户的协同过滤算法在显式、隐式反馈数据中的评估比较
目录一、问题描述二、算法描述三、评价指标四、实验结果五、总结一、问题描述实现基于用户的协同过滤(UserCF)算法,以TopN的推荐方式,分别在显式和隐式反馈数据集中进行评估和比较。实验采用Grouplens团队提供的公开数据集Movielens-latest-small,包括671个用户对9...转载 2019-07-18 13:28:48 · 1468 阅读 · 0 评论 -
Bandit算法与推荐系统
作者简介:陈开江,天农科技CTO,曾任新浪微博资深算法工程师,考拉FM算法主管,个性化导购App《Wave》和《边逛边聊》联合创始人,多年推荐系统从业经历,在算法、架构、产品方面均有丰富的实践经验。 责编:何永灿,欢迎人工智能领域技术投稿、约稿、给文章纠错,请发送邮件至heyc@youkuaiyun.com 本文为《程序员》原创文章,未经允许不得转载,更多精彩...转载 2019-07-23 17:30:36 · 440 阅读 · 0 评论 -
推荐系统老司机的十条经验
本文来源微信公众号:ResysChina,版权归原作者所有,未经作者同意,请勿转载。 原文:推荐系统老司机的十条经验 作者:陈开江@刑无刀,金融科技公司天农科技CTO,曾任新浪微博资深推荐算法工程师,考拉FM算法主管,先后负责微博反垃圾、基础数据挖掘、智能客服平台、个性化推荐等产品的后端算法研发,为考拉FM从零构建了个性化音频推荐系统。 欢迎技术投稿、约稿、给文章纠错,请发送邮件至heyc...转载 2019-07-24 10:02:54 · 323 阅读 · 0 评论 -
机器学习在热门微博推荐系统的应用
近年来,机器学习在搜索、广告、推荐等领域取得了非常突出的成果,成为最引人注目的技术热点之一。微博也在机器学习方面做了广泛的探索,其中在推荐领域,将机器学习技术应用于微博最主要的产品之一——热门微博,并取得了显著的效果提升。热门微博推荐系统介绍热门微博业务场景热门微博是基于微博原生内容的个性化兴趣阅读产品。提供最新最热优质内容阅读服务,更好地保障用户阅读效率和质量,同时达到激励微博上内容作者更好的...转载 2019-07-24 11:03:35 · 429 阅读 · 0 评论 -
腾讯QQ大数据:神盾推荐——MAB算法应用总结
导语:在推荐领域,用户或物品的冷启动,以及如何使推荐结果更加多样的问题在很多实际应用场景中都会遇到。本文主要讲述了神盾推荐在腾讯内部业务场景中,使用MAB方法来解决这两个问题的经验总结,同时本文也较为简单的对MAB问题做了综述性介绍,希望能够帮助到大家。1问题1.1 某业务拉新场景—冷启动决策问题拉新场景是指在大流量业务场景中投放拉新业务的相关优质内容,从而吸引用户访问,快速增加用...转载 2019-07-17 14:00:16 · 4051 阅读 · 0 评论 -
bandit 算法原理及 Python 实现
Bandit算法是在线学习的一种,一切通过数据收集而得到的概率预估任务,都能通过Bandit系列算法来进行在线优化。这里的“在线”,指的不是互联网意义上的线上,而是只算法模型参数根据观察数据不断演变。以多臂老虎机问题为例,首先我们假设每个臂是否产生收益,其背后有一个概率分布,产生收益的概率为p我们不断地试验,去估计出一个置信度较高的概率p的概率分布就能近似解决这个问题了。...转载 2019-07-24 14:59:16 · 755 阅读 · 0 评论 -
UCB公式的理解
UCB公式的理解在解决探索与利用平衡问题时,UCB1 策略是一个很有效的方法,而探索与利用平衡问题中最经典的一个问题就是多臂赌博机问题(Multi-Armed Bandit)。图来自[1]问题假设:按下摇臂后的回报取值为 1 或 0,每个摇臂获得回报的概率服从不同的分布,但事先并不知道问题目标:按照某种策略来按压摇臂以获得最大的累计回报(咦,这不就是强化学习的目标嘛)在这个问题中,探...转载 2019-07-25 11:49:21 · 1190 阅读 · 0 评论 -
李滔:搜狐基于Spark的新闻和广告推荐实战
问题导读1.如何建立用户兴趣标签?2.如何对用户兴趣的评估?3.什么是ctr预测?4.计算新闻相似度是用什么算法?摘要:对一个媒体网站来讲,一个比较重要的任务就是获取用户对于不同类型文章的兴趣分布。用户的兴趣分布会被作为用户属性标签,和其他类型的标签(例如人口属性等)一起用作推荐的模型特征。继“YARN or Mesos?Spark痛点探讨”、“Mesos资源调度与管理的深入分享与交流...转载 2019-07-22 15:36:20 · 851 阅读 · 0 评论 -
Building a Recommendation Engine with Spark and EMR
Building a recommendation engine from scratch has been a difficult but rewarding experience. I wanted to incorporate song recommendations based on users’ listening habits in 33 RPM (update: sadl...转载 2019-07-26 16:13:12 · 562 阅读 · 0 评论 -
个性化推荐系统实践应用
个性化推荐已经成为现代人们生活的一部分, “猜你喜欢”、“相关阅读”你一定并不陌生。计算机如何做到对用户投其所好?企业在做个性化推荐时要如何精准把握用户兴趣?如何解决冷启动问题?如何避免推荐结果的单调与重复?近日,达观数据联合创始人于敬进行了《个性化推荐系统实践》的主题分享,深入浅出的讲解了个性化推荐的过程、难点及解决方法。本文五大内容:一、推荐系统概述二、搭建推荐系统的关键算法...转载 2019-08-23 15:30:12 · 6873 阅读 · 0 评论 -
打造工业级推荐系统(三):推荐系统的工程实现与架构优化
导读:个性化推荐系统,简单来说就是根据每个人的偏好推荐他喜欢的物品。互联网发展到现在,推荐系统已经无处不在,在各行各业都得到普遍都应用。亚马逊号称 40% 的收入是来自个性化推荐系统的,淘宝的个性化推荐系统也带来非常大的收益,新闻媒体的个性化推荐系统典型的是今日头条,直播平台给用户推荐喜欢的主播,金融网站给用户推荐需要的理财产品,社交网络给用户推荐大 V 或者其他朋友……越来越多的公司将推荐系...转载 2019-04-29 15:32:27 · 1375 阅读 · 0 评论 -
打造工业级推荐系统(二):无处不在的推荐系统
导读:个性化推荐系统,简单来说就是根据每个人的偏好推荐他喜欢的物品。互联网发展到现在,推荐系统已经无处不在,在各行各业都得到普遍都应用。亚马逊号称 40% 的收入是来自个性化推荐系统的,淘宝的个性化推荐系统也带来非常大的收益,新闻媒体的个性化推荐系统典型的是今日头条,直播平台给用户推荐喜欢的主播,金融网站给用户推荐需要的理财产品,社交网络给用户推荐大 V 或者其他朋友……越来越多的公司将推荐系...转载 2019-04-29 15:30:44 · 1264 阅读 · 0 评论 -
每天被今日头条推送文章 背后的算法技术是什么?
1月11日,北京今日头条总部,一场问诊算法、建言算法的“让算法公开透明”分享会正在进行,雷锋网(公众号:雷锋网)观察到,包括BAT等在内的诸多科技公司算法工程师、产品经理等100多人参与现场讨论。资深算法架构师、中国科学技术大学曹欢欢博士于现场介绍了今日头条的推荐算法原理。曹欢欢表示,今日头条资讯推荐系统本质上要解决用户、环境和资讯的匹配,要达到这一效果,其算法推荐系统输入三个维度变量:转载 2018-03-23 11:29:15 · 30986 阅读 · 0 评论 -
如何利用今日头条推荐规则, 打造阅读量100万+的爆款文章?
今日头条能够成为内容分发市场的搅局者,估值破 100 亿美金,靠的是智能算法推荐。作为互联网相关从业人员,我面对这么一个新兴的巨大流量库,内心当然无法平静。话不多提,俺放个野路子大招儿,教有幸看到本文的读者先来一小步,搞个 100W+ 。今日头条概况不管去哪个平台折腾,咱都得先摸清楚它的底细。据今日头条官方——截至 2017 年 1 月,激活用户近 7 亿,其中月活超 1.75转载 2017-12-26 10:37:04 · 12833 阅读 · 1 评论 -
7 个小技巧,手把手教你为文章取个好标题
在新媒体时代,要想文章得到更多的曝光,起个好的标题至关重要。我们常说,一篇成功的营销软文,一定有个绝佳的标题为其冲在一线打头阵。「标题决定文章打开率」,对新媒体人来说已经再熟悉不过。一篇营销软文也好,干货文章也好,不论内容多有价值,标题没起好的话,一切等于零,因为大家看到标题后,压根就不会点开。那么,如何给营销软文起一个好标题?下面这7个起标题技巧可以帮到你。一、免费这个毫无疑问的NO.1吧,套路历转载 2017-12-21 11:49:55 · 1635 阅读 · 0 评论 -
今日头条:成也算法,败也算法
打开今日头条,我们看到的是满屏的新闻资讯。从内容上看,今日头条很像其他新闻客户端;从功能上看,今日头条又特别像互联网媒体。但在今日头条CEO张一鸣眼中,今日头条却是一款个性化推荐引擎产品。百度是专注信息搜索的大引擎,今日头条是专注信息推荐的垂直引擎。从这个角度讲,今日头条跟百度十分相似。曾经百度新闻也是靠机器算法来筛选新闻,但后来被今日头条甩出几条街。个性化推荐算法今日头条由张一鸣于2012年3月转载 2017-12-20 18:13:31 · 4591 阅读 · 0 评论 -
个性化推荐系统:“网络爬虫+相似矩阵”技术运作流程
今日头条这类资讯聚合平台是基于数据挖掘技术,筛选和推荐新闻:“它为用户推荐有价值的、个性化的信息,提供连接人与信息的新型服务,是国内移动互联网领域成长最快的产品服务之一”。 自从2012年3月创建以来,今日头条至今已经累计激活用户3.1亿,日活跃用户超过3000万。本文尝试从"技术层面"分析今日头条的传播机制和相关原理。1. 网络爬虫:抓取新闻的基本技术 今日头条是一个典型的数据新闻平转载 2017-12-20 16:14:46 · 3636 阅读 · 0 评论 -
如何成为一名推荐系统工程师
作者简介: 陈开江,希为科技CTO,曾任新浪微博资深算法工程师,考拉FM算法主管,个性化导购App《Wave》和《边逛边聊》联合创始人,多年推荐系统从业经历,在算法、架构、产品方面均有丰富的实践经验。责编:何永灿(heyc@youkuaiyun.com)本文为《程序员》原创文章,未经允许不得转载,更多精彩文章请订阅《程序员》推荐系统工程师技能树掌握核心原理的技能数学转载 2017-11-20 19:47:17 · 1048 阅读 · 0 评论 -
读懂你性格的个性化推荐
作者 | 谢幸、张富峥编者按:互联网的迅猛发展为信息量的惊人膨胀提供了肥沃的土壤。丰富的信息资源给用户提供更多选择的同时,信息的泛滥也意味着用户必须为信息筛选付出更大的成本。 应运而生的个性化推荐技术能够在这个被信息淹没的时代,把用户最感兴趣的内容直接呈现在用户面前。本文中,微软亚洲研究院研究员谢幸、张富峥将为你揭开大数据背后个人性格的神秘面纱,近距离感受个性化推荐转载 2017-11-20 14:31:05 · 331 阅读 · 0 评论 -
用Spark学习矩阵分解推荐算法
转载:http://www.cnblogs.com/pinard/p/6364932.html?utm_source=tuicool&utm_medium=referral1. Spark推荐算法概述 在Spark MLlib中,推荐算法这块只实现了基于矩阵分解的协同过滤推荐算法。而基于的算法是FunkSVD算法,即将m个用户和n个物品对应的评分矩阵M分解为两个低维的矩阵:转载 2017-07-17 15:56:26 · 643 阅读 · 0 评论 -
协同过滤推荐算法总结
前言推荐算法具有非常多的应用场景和商业价值,因此对推荐算法值得好好研究。推荐算法种类很多,但是目前应用最广泛的应该是协同过滤类别的推荐算法,本文就对协同过滤类别的推荐算法做一个概括总结,后续也会对一些典型的协同过滤推荐算法做原理总结。1. 推荐算法概述 推荐算法是非常古老的,在机器学习还没有兴起的时候就有需求和应用了。概括来说,可以分为以下5种: 1)基于内容的推荐转载 2017-07-21 10:39:37 · 1014 阅读 · 0 评论 -
数据挖掘关联分析中的支持度、置信度和提升度
购物篮分析购物篮数据的二元0/1表示利用关联分析的方法可以发现联系如关联规则或频繁项集。二元表示每一行对应一个事务,每列对应一个项,项用二元变量表示项在事务中出现比不出现更重要,因此项是非对称的的二元变量。项集(Itemset):包含0个或多个项的集合,如果包含k个项,则称为k-项集。事务的宽度:事务中出现的项的个数一般我们使用三个指标来度量一个关联规则转载 2017-07-29 12:41:54 · 22992 阅读 · 1 评论 -
3分钟了解今日头条推荐算法原理
今日头条的内容分发算法一直颇神秘低调。自12年开发运营起进四次改版,从未透露核心内容。2018年1月,今日头条资深算法架构师曹欢欢博士,终于首次公开今日头条的算法原理,以期推动整个行业问诊算法、建言算法,希望消除各界对算法的误解。据悉,今日头条的信息推荐算法目前服务全球亿万用户。以下为曹欢欢关于《今日头条算法原理》的分享内容(已获今日头条授权):转载 2018-03-23 15:36:35 · 15841 阅读 · 0 评论 -
百度新闻后台逻辑流程分析
百度新闻后台逻辑流程分析 CopyMiddle:张俊林 TimeStamp:2008年1月9日 今天分析了一下百度新闻,琢磨了一下其后台运行机制,出乎意料的是,我发现其运行机制比我想象的要简单,我原先没仔细看,以为至少会用到文本聚类,但是分析结果显示好像没用到,只是使用了文本分类和文本相似性计算而已。 下面简单描述一下其可能的运行机制...转载 2018-03-29 14:51:20 · 548 阅读 · 0 评论 -
打造工业级推荐系统(一):推荐算法工程师的成长之道
导读:个性化推荐系统,简单来说就是根据每个人的偏好推荐他喜欢的物品。互联网发展到现在,推荐系统已经无处不在,在各行各业都得到普遍都应用。亚马逊号称 40% 的收入是来自个性化推荐系统的,淘宝的个性化推荐系统也带来非常大的收益,新闻媒体的个性化推荐系统典型的是今日头条,直播平台给用户推荐喜欢的主播,金融网站给用户推荐需要的理财产品,社交网络给用户推荐大 V 或者其他朋友……越来越多的公司将推荐系...转载 2019-04-29 15:29:36 · 1948 阅读 · 0 评论 -
详细解读 Youtube 推荐算法
AI社区正式上线!直接访问转载 2019-04-29 15:22:44 · 1599 阅读 · 0 评论 -
红豆Live 推荐算法中召回和排序的应用和策略
有人曾说“语音直播产品红豆 Live 的突然出现,让沉寂了一段时间的语音知识付费市场又重新燃起了生机”,让语音直播这个小众市场重新吸引了大众的注意力,让声音爱好者找到知音和志同道合之友。但红豆 Live 也用了 AI 这个事实,你知道吗?用到了哪些 AI 技术?推荐算法如何帮助它在众多语音直播产品中脱颖而出?对有意采用 AI 技术的公司有何启示?InfoQ 将在这篇文章中揭开这些问题的答案。I...转载 2019-04-29 15:18:16 · 1398 阅读 · 0 评论 -
从零到万的粉丝:抖音的推荐算法到底是怎样的?
为什么现在各家都要做抖音。原因很简单。在抖音,哪怕你没有任何名气,没有一个粉丝,完全零流量,也可以在很短的时间内打造出一个100万精准粉丝的大号。只要上传了视频,抖音平台都会自动分配精准流量,为产品带来大量的曝光度,收割大量的粉丝和关注度。我们只需要知晓抖音的推荐算法,然后我们围绕着算法制作优质的15秒视频内容即可,不断的去优化15秒内容即可,流量会越来越大。作为抖音的核心竞争...转载 2019-04-29 11:43:15 · 37086 阅读 · 0 评论 -
推荐系统介绍
推荐系统介绍一,推荐系统产生的背景随着移动互联网的快速发展,我们进入了信息爆炸时代。当前通过互联网提供服务的平台越来越多,相应的提供的服务种类(购物,视频,新闻,音乐,婚恋,社交等)层出不穷,服务“标的物”的种类也越来越多样(亚马逊上有上百万的书),这么多的“标的物”怎么让需要它的人找到它, 满足用户的各种需要, 就是摆在企业面前的难题。同时,随着社会的发展,受教育程度的提升,每个人都...转载 2019-04-29 10:43:48 · 835 阅读 · 0 评论 -
Dolphin.海豚会|基于推荐算法提升直播业务的效能实践
今天我们讨论的是基于推荐算法提升直播业务的效能实践。此次我们邀请到了来自YY推荐算法负责人,原百度凤巢model组高级技术经理王清博士给我们带来满满的干货分享,本次交流会汇聚了来自百度、b站、网易、喜马拉雅、触宝等知名互联网公司的推荐算法方向的资深同学。随着中国城乡恩格尔系数的持续走低,中国迎来消费升级,在线娱乐的用户时长占比、增速都非常高。“直播+”的巨大赋能也成为新文娱的发展趋势,...转载 2019-04-29 10:37:31 · 1317 阅读 · 0 评论 -
我们分析了 10000 条视频,终于知道了今日头条推荐系统的秘密
本文首发于 视频帮平台(ID:kbstreet),作者齐穆。大数据获授权转发,如需转载请与首发公众号联系,谢绝二次转载。就算法机制平台而言,播放量绝大部分取决于【推荐量】。受“今日头条金秒奖组委会”的邀请,视频帮就“金秒奖”第一季度累计3.04亿播放量的10166个参赛短视频进行了专业分析。由今日头条主办的“金秒奖”(jmj.toutiao.com)是首个短视频行业转载 2018-05-02 09:46:59 · 32381 阅读 · 4 评论 -
tag 推荐系统的关键问题以及解决方案
最近在做推荐产品,读了一些论文,客观的说,扯淡的居多,基本的思路也差不多,结合工作的情况,谈一下tag推荐的产品形态、主要问题以及如何推荐产品形态以及主要问题tag 的推荐系统,顾名思义,利用用户或者item的 tag信息进行推荐,涉及到两个产品形态:1.tag-based recommend,基于tag信息推荐item给用户2.tag recommend,给用户推荐tag无论1,还是2,都面临一...转载 2018-03-29 15:57:37 · 2229 阅读 · 0 评论 -
推荐决策 对比 user-based 和 item-based 推荐算法
最近在看项亮同学的推荐系统实践,整理一下思路。推荐系统,整体上有三种方式:user->user->item, 推荐与其相同兴趣的用户喜欢的item,user-baseduser->item->item, 推荐与其喜欢的item相似的item,item-baseduser->item-feature->item,抽取用户喜欢item的特征,推荐具备这些特征的ite...转载 2018-03-29 15:52:25 · 2370 阅读 · 0 评论 -
[推荐系统]分类
参照xlvector的博士论文,分类方式有二1.基于数据的分类2.基于模型的分类目前商业上使用较广泛的,是基于数据的分类的一些算法,主要包括:1.协同过滤仅仅利用用户的行为信息,基于用户的历史兴趣进行推荐,包括itemCF, userCF。2.基于内容的过滤利用用户兴趣和item之间的相似度,基于Data内容上的相似性进行推荐,比如电影的导演、主演等3.社会化过滤利用用户的社会化关系,利用用户社交...转载 2018-03-29 15:46:41 · 600 阅读 · 0 评论 -
美团推荐算法实践
转载:http://tech.meituan.com/mt-recommend-practice.html前言推荐系统并不是新鲜的事物,在很久之前就存在,但是推荐系统真正进入人们的视野,并且作为一个重要的模块存在于各个互联网公司,还是近几年的事情。随着互联网的深入发展,越来越多的信息在互联网上传播,产生了严重的信息过载。如果不采用一定的手段,用户很难从如此多的信息流中找转载 2017-06-26 16:14:33 · 995 阅读 · 2 评论