博客内容皆为原创

#尊重版权，转载注明地址#博主最近在学习scala，scala是面向函数编程，这与面向对象编程的java有着很大的差别，学习的第一个demo当然是声名显赫的wordcount，代码如下： val conf = new SparkConf() conf.setMaster("local[1]").setAppName("word count") val sc = new Spar

协同过滤itembase增量计算Spark实现Controller1.      数据统计user counts:=========>8239237itemCode count:=====>7421567 spark result distinct nums ======>5826484 2.      运行子任务倒叙 3.      Spark集群

针对电商推荐系统之推荐算法模块工程化，博主前期已经利用spark对基于协同过滤推荐算法进行了实践性的整理，详情见 协同过滤itembase增量计算Spark实现(一) 协同过滤itembase计算Spark实现(二)随着系统工程化的逐步完善，便会开始考虑如何将系统产品化，面向算法研究人员，测试人员，产品人员甚至其他有推荐算法需求的人员能够通过拖拖拽拽自定义算法实现。这个愿景很美好也很伟大~~借着

前言 随着互联网的飞速发展，如何能够让用户在广袤的互联网中获取到他所想要的，这时候人们有了搜索引擎。搜索引擎好比一个仓库，它需要事先储藏大量的资源，你需要什么都可以从中获取得到。这种被动索取的方式无形之中也注定了搜索引擎在某个范围内只能一家独大。科技改变着人们的生活，随着大数据时代的到来，传统被动等候来获取的方式由于其需要的前期投入较大，准确性往往也不能满足用户的真正需求，在此背景之下，推荐引擎遍广

博主前期有写过协同过滤协同过滤itembase增量计算Spark实现(一)，其中已经较为基础的演示了基于欧拉距离求解相似度的过程，由于都是在一个JOB里，随着数据量的增长会出现计算耗时过长、OOM等现象，后期博主在推荐系统架构优化方面发现上述五个步骤在诸如看了还看，买了还买，相关搜索词，搜索最终购买等推荐模块存在着大量的相似，这些步骤的复用性太强，所以就开始考虑对算法模块按其计算步骤进行拆分，拆分之