博客内容皆为原创

PageRank算法简述常言道，看一个人怎样，看他有什么朋友就知道了。也就是说，一个人有着越多牛X朋友的人，他是牛X的概率就越大。将这个知识迁移到网页上就是“被越多优质的网页所指的网页，它是优质的概率就越大”。PageRank是Google创始人提出来的，算法的发展也经历了很多次优化。至于原理这边就不累赘了，同学们可以自行谷歌~~工程化实现 1.输入数据2,12,43,23,54,15,

#尊重版权，转载注明地址#博主最近在学习scala，scala是面向函数编程，这与面向对象编程的java有着很大的差别，学习的第一个demo当然是声名显赫的wordcount，代码如下： val conf = new SparkConf() conf.setMaster("local[1]").setAppName("word count") val sc = new Spar

针对电商推荐系统之推荐算法模块工程化，博主前期已经利用spark对基于协同过滤推荐算法进行了实践性的整理，详情见 协同过滤itembase增量计算Spark实现(一) 协同过滤itembase计算Spark实现(二)随着系统工程化的逐步完善，便会开始考虑如何将系统产品化，面向算法研究人员，测试人员，产品人员甚至其他有推荐算法需求的人员能够通过拖拖拽拽自定义算法实现。这个愿景很美好也很伟大~~借着

博主前期有写过协同过滤协同过滤itembase增量计算Spark实现(一)，其中已经较为基础的演示了基于欧拉距离求解相似度的过程，由于都是在一个JOB里，随着数据量的增长会出现计算耗时过长、OOM等现象，后期博主在推荐系统架构优化方面发现上述五个步骤在诸如看了还看，买了还买，相关搜索词，搜索最终购买等推荐模块存在着大量的相似，这些步骤的复用性太强，所以就开始考虑对算法模块按其计算步骤进行拆分，拆分之

电子商务时代，商家急切的寻求着对用户展示商品达到千人千面的效果，并且实时根据用户行为去实时更新待推荐的商品集。正如百度大boos李彦宏同学在乌镇物联网大会上所说:"机器学习的时代即将到来。"博主从事推荐系统开发设计五年有余，深深的触摸到了机器学习时代的影子，从刚开始接触推荐，到先如今各大电子商务平台，甚而流媒体平台等都是搭建自己的推荐系统平台，让机器去学习用户的行为以便达到精准营销的目标。

当博主在写 基于spark-streaming实时推荐系统（一）， 基于spark-streaming实时推荐系统（ 二）时，心里还曾暗自窃喜：“五年多推荐系统设计研发工作，再搭一套推荐系统还不是轻松的事么！”。只有真正做了之后才知道这其中的辛酸与血泪。      首先博主前期的推荐系统经验主要是基于传统电商网站，推荐的主体是用户，推荐的内容是商品。商品只要能够满足销售的基本要素便一直是众

Spark Graphx中SVD++算法主要是参考论文: http://public.research.att.com/~volinsky/netflix/kdd08koren.pdf, 核心计算公式为：rui = u + bu + bi + qi*(pu + |N(u)|^^-0.5^^*sum(y)) 输入 输入：user，item，score1,1,5.01,2,1.01,3,5.