推荐系统实践 - 推荐系统概述

1.推荐系统

产生原因：信息过载，存在选择困难

推荐系统与搜索引擎

搜索引擎需要用户提供准确的关键词来寻找信息，当用户无法找到准确描述自需求的关键词时，搜索引擎就起不到作用了。

推荐系统是通过分析用户的历史行为给用户的兴趣建模，从而主动给用户推荐能够满足他们需求的信息。

长尾（long hair）

传统销售的80/20原则：80%的销售收入来自于20%的热门商品。
长尾商品：代表一部分用户的个性化需求。
在互联网时代，货架成本低廉，电子商务网站能够出售比传统商店更多的东西。因此长尾商品的销售额不容忽视。

推荐算法

通过一定方式把用户和物品联系起来，解决信息过载的问题。

2.推荐系统应用

电子商务
电影、视频网站
音乐网络电台
社交网络
个性化阅读
个性化邮件
位置服务
个性化广告

3.推荐系统的评测

3.1推荐系统实验方法

离线实验
好处：不需要真实用户参与，可以快速计算结果，从而方便测试不同算法。
坏处：无法获得很多商业上关注的指标，如点击率、转化率。

用户调查
好处：可以获得很多用户主观感受的指标，相对在线实验风险低，出现错误容易弥补。
坏处：很难组织大规模的用户调查，会使得调查结果统计意义不足。

在线实验
主要是AB测试。
AB测试通过一定的规则将用户随机分成几组，并对不同组的用户采取不同的算法，然后通过统计不同组用户的各种测试指标比较不同算法。
AB测试的关键是切分流量。

好处：可以公平获得不同算法实际在线时的性能指标，包括商业关注的一些指标。
坏处：测试周期长，必须进行长时间的实验才能获得可靠的结果。

3.2评测指标

3.2.1用户满意度

3.2.2预测准确度

度量一个推荐系统或推荐算法的预测用户行为的能力

评分推荐

预测用户对物品的评分，指标分为均方根误差（RMSE）和平均绝对误差（MAE）
$u$用户，$i$物品，$r_{ui}$用户$u$对物品$u$的评分，$\hat{r}_{ui}$预算预测的用户$u$对物品$u$的评分。

$$RMSE=\frac{\sqrt{\sum_{u,i\in T}(r_{ui}-\hat{r}_{ui})^2}}{|T|}$$

$$MAE=\frac{\sqrt{\sum_{u,i\in T}|r_{ui}-\hat{r}_{ui}|}}{|T|}$$

TopN推荐

给用户一个个性化推荐列表
准确率

$$Precision=\frac{\sum_{u\in U}|R(u)\cap T(u)|}{\sum_{u\in U}|R(u)|}$$

召回率

$$Recall=\frac{\sum_{u\in U}|R(u)\cap T(u)|}{\sum_{u\in U}|T(u)|}$$

$R(u)$表示给用户的推荐列表，$T(u)$表示用户在测试集上的行为列表

3.2.3覆盖率

描述一个推荐系统发掘长尾物品的能力

3.2.4多样性

描述推荐列表中两两物品之间的不相似性。