推荐系统（BPR）

BPR是基于用户的隐式反馈，为用户提供物品的推荐，并且直接对排序进行优化。

形式定义

$U$：user集合；

$I$ ：item集合；

$S$：用户的隐式反馈 如下图所示，只要用户对某个物品产生过行为，就标记为+，未观察到的数据（即用户没有产生行为的数据）标记为?.

$i$>${}_u$$j$表示用户$u$在物品$i$和物品$j$之间更偏向于物品$i$

$I$${}^{+}$${}_u$={$i$$\in$$I$$:$($u$,$i$)$\in$$S$}代表了用户$u$产生过行为的物品集合

$U$${}^{+}$${}_i$={$u$$\in$$U$$:$($u$,$i$)$\in$$S$}代表了对物品$i$产生过行为的用户集合

问题提出

以前的Rec方法通常通过给对（$u$，$i$）∈$S$一个正的类标签和（$u$×$i$）中的所有其他组合一个负类的来创建训练数据（见图1）。然后用一个模型对这些数据进行拟合。这意味着模型经过优化，可以预测S中元素的值为1，其余元素的值为0。

在填零的情况下，我们的优化目标变成了希望在预测时观测到的数据预测为1，其余的均为0. 于是产生的问题是，我们希望模型在以后预测的缺失值，在训练时却都被认为是负类数据。因此，如果这个模型训练的足够好，那么最终得到的结果就是这些未观察的样本最后的预测值都是0。

BPR

BPR采用了pairwise的方式。
如 下图，基于观察到的数据$S$构建数据集$D_S$ : 对用户$u$来说，如果对物品$i$产生过行为, 而没有对物品$j$产生过行为，则得到了一个偏好对($u$,$i$,$j$)。表示为 $i_2$$>$${}_u$$i_1$ . 如果一个用户对两个物品同时产生过行为，或者同时没有产生过行为，则无法构建偏好对。接着，对每个用户，就可以构建$I$×$I$的偏好矩阵。所有用户的偏好对构成了训练集$D_S$:$U$×$I$×$I$.

左侧显示了观察到的数据。我们的方法在一对项目之间创建特定于用户的成对偏好$i$>${}_u$$j$。在右侧，加号（+）表示用户更喜欢$i$项而不是$j$项；减号（–）表示他更喜欢$j$而不是$i$。

BPR-OPT

BPR 基于最大后验估计$P$($W$,$H$|${}_{>}$$u$)来求解模型参数$W$,$H$,这里我们用θ来表示参数$W$和$H$, ${}_{>}$代表用户$u$对应的所有商品的全序关系,则优化目标是P(θ|${}_{>}$)。根据贝叶斯公式，我们有：

寻找所有项目$i$$\in$$I$的正确个性化排序的贝叶斯公式是最大化以下后验概率，其中Θ表示任意模型类的参数向量（例如矩阵分解）。

这里，$>$${}_u$是用户$u$潜在的偏好结构，所有用户都被假定为相互独立的行为。我们还假设特定用户的每对项目（$i$，$j$）的排序独立于其他每对的排序。因此，上述用户特定的似然函数$p$（>$u$ |Θ）可以首先重写为单密度的乘积，然后对所有用户$u$∈$U$组合。

似然概率

独立性假设：

1. 所有用户之间的行为相互独立
2. 同一用户任意一对物品的偏序关系相互独立
   于是可以将似然概率表示为：
   
   即分解为每一个正样本的概率之积，即希望对每一个正样本($u$,$i$,$j$)∈$D_S$, $p$($i$>${}_u$$j$∣θ)最大。这里不考虑负样本。
   定义：
   

其中
是个实值函数，返回的是用户$u$, 物品$i$, 物品$j$之间的关系。这个函数可以通过矩阵分解或者KNN等方法实现。

先验概率

假设参数的先验概率服从正态分布

对于正态分布，其对数和∣∣θ∣∣${}^2$ 成正比。因此计算ln${}_p$(θ)时，得到：

所以得到后验概率，取对数即为优化目标：BPR-OTP:

更新

梯度下降

基于矩阵分解的BPR

矩阵分解的作用主要就是为了得到上述的实值函数：

对于用户集$U$和物品集$I$对应的$U$×$I$的预测的排序矩阵Xˆ , 我们期望分解得到用户矩阵W(∣U∣×k)和物品矩阵H (∣I∣×k), 满足：
这里的$k$是自己定义的，对于用户矩阵$W$, 我们实际上就是为每一个用户$u$学出一个$k$维向量$w_u$作为该用户的隐向量，同理，对于物品矩阵$H$, 我们实际上就是为每一个物品$i$学出一个$k$维向量$h_i$作为该物品的隐向量.因此，这里的(W,H)实际上就是我们需要求出的实值函数的参数θ.
当得到W和H矩阵后，对于任意一个用户u，对应的任意一个物品i, 得到的实值向量即为两个隐向量之积

x${}_u$${}_i$^是预测出的用户u对物品i的评分。
但是BPR中是三元组形式的
因此BPR将三元组形式分解为二元组的形式，定义为：
代入后验概率模型，得到：

根据上节梯度下降更新梯度，得到



参考博客：https://www.cnblogs.com/pinard/p/9128682.html#commentform
https://blog.youkuaiyun.com/ddydavie/article/details/84331584