无敌的Log-Likelihood Ratio(2)——LLR在推荐系统中的使用

  在这篇文章中我们基于 《无敌的Log-Likelihood Ratio(1)——LLR的计算方式》中所介绍的 $LLR$计算方式，具体的介绍一下 $LLR$在推荐系统业务中的具体落地和使用。本文以电影推荐为例，简要阐述 $LLR$在推荐系统中具体的使用和落地。
  本文具体的组织结构如下：在第1节中主要回归了 $LLR$的计算公式和推荐系统场景下相似度的计算。在第2节中，我们主要介绍了 $LLR$相似度计算在公开的推荐相关数据集上的使用。在第3节中讨论了如何完成 $LLR$相似度推荐在线上实时推荐的部署情况和可能存在的一些问题。在第4节中讨论几个我能够想到并关注的问题。

1. 相似度计算

1.1 相似度计算公式

  在基于物品相似度的推荐中，我们主要通过$LLR$来衡量两个物品之间的相似度。当两个物品在用户的交互行为中共同出现的次数越多和其他物品共同出现的次数越少，理论上认为这两个物品越相似度越高。
  在计算两个物品相似度之前，我们需要能够建立衡量两个物品共现关系的$2\times 2$的矩阵如下所示。

	与$Itemj$ 发生交互	没有与$itemj$发生交互
与 $itemi$ 发生交互	$K_{11}$	$K_{12}$
没有与 $itemi$ 发生交互	$K_{21}$	$K_{22}$

  根据共现次数矩阵结合《无敌的Log-Likelihood Ratio(1)——LLR的计算方式》给出的计算原理，可以计算物品$i$和物品$j$的相似度如下。
S = 2 × ( H ( c o l S u m ( K ) ) + H ( r o w S u m ( K ) ) − H ( K ) )    = 2 × ( K 11 N    l o g ( K 11 N ) + K 12 N    l o g ( K 12 N ) + K 21 N    l o g ( K 21 N ) + K 22 N l o g    ( K 22 N )    − ( K 11 + K 12 N l o g    ( K 11 + K 12 N ) + K 21 + K 22 N l o g ( K 21 + K 22 N ) )    − ( K 11 + K 21 N l o g    ( K 11 + K 21 N ) + K 12 + K 22 N l o g ( K 12 + K 22 N ) ) ) S=2\times(H(colSum(K)) + H(rowSum(K))-H(K)) \\ \; \\ = 2 \times(\frac{K_{11}}{N}\;log(\frac{K_{11}}{N}) + \frac{K_{12}}{N}\;log(\frac{K_{12}}{N}) + \frac{K_{21}}{N}\;log(\frac{K_{21}}{N}) + \frac{K_{22}}{N} log\;(\frac{K_{22}}{N}) \\ \; \\ -(\frac{K_{11} + K_{12}}{N}log\;(\frac{K_{11} + K_{12}}{N}) + \frac{K_{21} + K_{22}}{N} log(\frac{K_{21} + K_{22}}{N})) \\ \; \\ -(\frac{K_{11} + K_{21}}{N}log\;(\frac{K_{11} + K_{21}}{N}) + \frac{K_{12} + K_{22}}{N} log(\frac{K_{12} + K_{22}}{N}))) S=2×(H(colSum(K))+H(rowSum(K))−H(K))=2×(NK11​​log(NK11​​)+NK12​​log(NK12​​)+NK21​​log(NK21</