leitingdulante的博客

思考如何设计推荐系统架构一.先说业务和算法推荐如何交互业务后端需要每天在用户打开app后拉取用户感兴趣的商品到页面，这个显然不能是实时计算出来的兴趣信息，肯定是直接读取的数据库。可以是先拿redis，不够拿取mysql数据库数据补充。所以算法团队需要事先将需要的推荐数据放置到业务需要的数据库里面或者通过接口告知业务这些商品是推荐给某个用户的，让业务自己存储。总之，算法团队就负责为平...

1.刚接触spark等分布式技术的时候，有个很大的问题是spark是用来做什么的？他和分布式服务，分布式存储，分布式计算都是什么关系？大数据(大公司)领域三个问题是高并发，大数据量的计算，大数据量的存储。先说高并发，高并发的含义是是请求并发量高，这是业务后端开发常见的问题，基本解决方案就是负载均衡，通过集群多机器来进行服务。典型的是nginx请求转发，根据不同分流请求转发到不同机器上。这里...

一.协同过滤基于用户商品评分矩阵来做协同，典型的是根据余弦相似来求向量相似。协同过滤典型的有两种Usercf和Itemcf，Usercf的思路就是根据a,b用户相似，将b用户喜欢的a用户未浏览过的商品推荐给a用户。Itemcf意思就是根据1,2物品相似，对浏览过1商品但为浏览过2商品的用户推荐2商品。协同的思想比较简单，也比较直观理解，应用比较成熟，效果也可以接受。优点：...

1.概念解释1.1 矩阵分解和svd就是讲一个大矩阵分解为若干个小矩阵的点积，这样做的一个典型逻辑是降低参数量，相当于 Rm*n = Rm*k.dot( Rk*n )，将m*n个参数缩减为 (m + n) *k个参数，起到的效果几乎一致，深度(机器)学习中降低参数量，矩阵分解是很常用的技巧。这里k是超参，极端情况1的话，相当于m*n变为了m+n大学矩阵分解常用的情况是方阵的特征值和特征...

1.基本概念解释1.1 LTR (learning to rank) 意思是 ‘学习排序’，就是排序的机器学习技术1.2 CTR (click through rate) 意思是‘点击率(预估)’，这个很常见的二分类问题(点击概率0-1)1.3 pointwise 含义是单点(单文档)角度 pairwise 含义是文档对角度 listwise 含义是(推荐)文档列表角度2...