兴趣探测的多样性解决方案

问题背景

还是继续前文的问题，给用户展示新闻的时候，除了保证兴趣满足度之外，还要保证用户兴趣发散探测，不至于兴趣太收敛。我们上文讨论到了用地雷克雷分布==》再到用F(user, tag, var)=ctr的方式，虽然弥补了单个用户重依赖历史行为的倾向，用到全局信息/点击/展现信息，但是仍然遗漏了重要的屏信息。现在，有更优的整屏多样性的解决方法可供我们选择，DPP（Determinantal Point Process），是对一屏的数据选择时做多样性探测，很好地平衡了相关性和多样性之间的关系。

DPP基础

DPP有个特性，可以找到集合，该集合能够满足最大多样性条件下的概率最大化【5】，如此来对点间斥力建模。
假设有离散集$z=1,2,3...M$，其任意子集$Y\subseteq Z$，则必然存在一个矩阵$L\in R^{M\times M}$，该子集的概率$P(Y)\propto det(L_Y)$，$L$是实数半正定矩阵被$Z$的元素索引成的，。$$Y_{max}=argma{x}_{Y\subseteq Z}det(L_Y)$$
在k-DPP里，$P(Y)$的分母系数是特征向量的因子。

速度优化

1）贪婪解的采样优化。
略，详见参考1=>2=3，计算复杂度由$O(M^4)⟶O(M^3)⟶O(N^{2}M){|}_{eigendecompositionL}$
2）贪婪解的非采样式优化。
Colesky factor优化迭代步骤。参考1，也是本文关注的思路。
在每轮迭代中，找$j$的过程如下 j = a r g m a x i ∈ Z ∖ Y g l o g d e t ( L Y g ∪ { i } ) − l o g d e t ( L Y g ) j=argmax_{i \in Z \setminus Y_g} log det(L_{Y_g \cup \{i\}}) - log det(L_{Y_g}) j=argmaxi∈Z∖Yg​​logdet(LYg​∪{i}​)−logdet(LYg​​)
当$L$是正定的，其主子式也是正定的，假设$det(L_{Y_g})>0$，其Cholesky分解$L=V{V}^T$，$V$是可逆下三角矩阵 L Y g ∖ { i } = [ L Y g L Y g , i L i , Y g L i i ] = [ V 0 c i d i ] [ V 0 c i d i ] T L_{Y_g \setminus \{i\} } = \begin{bmatrix} L_{Y_g} & L_{Y_g,i} \\ L_{i,Y_g} & L_{ii} \end{bmatrix} = \begin{bmatrix} V & 0 \\ c_i & d_i \end{bmatrix} \begin{bmatrix} V & 0 \\ c_i & d_i \end{bmatrix}^T LYg​∖{i}​=[LYg​​Li,Yg​​​LYg​,i​Lii​​]=[Vci​​0di​​][Vci​​0di​​]T
其满足条件$①V{c}_i^T=L_{Y_g,i}$ $②d_i^2=L_{ii}-||c_i|{|}_2^2$ $③d_i\ge 0;④c_i$是行向量。
将上式带入得到 d e t ( L Y g ∪ { i } ) = d e t ( V V T ) × d i 2 = d e t ( L Y g ) × d i 2 ⟶ j = a r g m a x i ∈ Z ∖ Y g l o g ( d i 2 ) det(L_{Y_g \cup \{i\} }) =det(VV^T) \times d_i^2 = det(L_{Y_g}) \times d_i^2 \longrightarrow j = argmax_{i \in Z \setminus Y_g} log(d_i^2) det(LYg​∪{i}​)=det(VVT)×di2​=det(LYg​​)×di2​⟶j=argmaxi∈Z∖Yg​​log(di2​)
于是查找下一个最优符合条件的的问题就简化了，而我们继续将当前最优解带回Cholesky分解约束条件里，在下一轮查找最优解$c_i^{\prime }$和$d_i^{\prime }$时 i ′ ∈ Z ∖ { Y g ∪ j } i' \in Z \setminus \{Y_g \cup j\} i′∈Z∖{Yg​∪j}， [ V 0 c j d j ] c i ′ T = [ L Y g , i L j i ] = L Y g ∪ { j } , i \begin{bmatrix} V & 0 \\ c_j & d_j \end{bmatrix} c_i'^T =\begin{bmatrix} L_{Y_g,i} & \\ L_ji & \end{bmatrix}= L_{Y_g \cup \{j\}, i} [Vcj​​0dj​​]ci′T​=[LYg​,i​Lj​i​​]=LYg​∪{j},i​，得到$$c_i^{\prime }=[c_i,(L_{ji}-⟨c_j,c_i⟩)/d_j]=[c_i,e_i];$$ $$d_i^{\prime 2}=L_{ii}-||c_i^{\prime }|{|}_2^2=L_{ii}-||c_i|{|}_2^2-e_i^2=d_i^2-e_i^2$$

在实际业务中，候选集核矩阵$L_{m,n}=r_m\times r_n\times S_{m,n}=r_m\times r_n\times \frac{1+⟨E_m,E_n⟩}{2}=R_u\times S_{R_u}=Diag(r_u)\times S\times Diag(r_u)$，后验概率$$logP(R_u)\propto logdet(L_{R_u})=\underset{like-score}{\underbrace{\sum ^{i\in R_u}log(r_{u,i}^2)}}+\underset{diversity-score}{\underbrace{logdet(S_{R_u})}}$$

业务相关

优化1：组合超参$\theta$

$logP(R_u)\propto \theta {\sum }_{i\in R_u}log(r_{u,i}^2)+(1-\theta )logdet(S_{R_u})$
这种超参调整，是核矩阵$L\to L^{\prime }=Diag(e^{\alpha r_u})\times S\times Diag(e^{\alpha r_u})$，其中$\alpha =\frac{\theta }{2(1-\theta )}$
这样更新逻辑就变成了

优化2：多样超参$\alpha$

$logP(R_u)\propto {\sum }_{i\in R_u}log(r_{u,i}^2)+\alpha logdet(S_{R_u})$
这种超参调整，是将Sim矩阵变为$S\to \alpha \times S-(\alpha -1)Diag(1)$，对left-down对角线外乘以权重$\alpha$得到：
$L_{m,n}=Diag(r_u)\times (\alpha \times S-(\alpha -1)Diag(1))\times Diag(r_u)$
$=\alpha Diag(r_u)\times S\times Diag(r_u)+(1-\alpha )Diag(r_u)\times Diag(1)\times Diag(r_u)$
$logP(R_u)\propto logdet{L}_{m,n}\to$
$=logdet\left[\alpha Diag(r_u)\times S\times Diag(r_u)+(1-\alpha )Diag(r_u)\times Diag(1)\times Diag(r_u)\right]$
$=\alpha {\sum }_{i\in R_u}log(r_{u,i}^2)+\alpha logdet(S_{R_u})+(1-\alpha ){\sum }_{i\in R_u}log(r_{u,i}^2)$
$={\sum }_{i\in R_u}log(r_{u,i}^2)+\alpha logdet(S_{R_u})$
此方式，不用改变求解方式，即可实现多样性权重的调整。
若是对rank矩阵做调权呢？比如$r_i{r}_j\times (1+\beta )$，又或者是$(r_i+\beta )\times (r_j+\beta )$如此调整呢？

优化3：多约束下融合

如果有多种约束矩阵呢？多个sim矩阵下，怎么融合到一起呢。
在求解argmax时，用超参叠加起来，且有一个作为主要的因子返回多个结果，用其他的作为调权，找本轮的最优值。
为什么不直接将多个sim矩阵用超参叠加到一起呢，容易各种bad-case。

notice

只是对当前展示屏做了多样性控制，而没有更多地考虑之前屏的多样性；并且在如何打破用户兴趣的层面，是没法解决的。现在感觉起来，强化学习才是未来啊，既能够克服多样性的问题，又能够获得最大化未来收益。

demo

DPP-code-demo

Reference

1. G. L. Nemhauser, L. A. Wolsey, and M. L. Fisher. An analysis of approximations for maximizing submodular set functions–I. Mathematical Programming, 14(1):265–294, 1978. 贪婪解的出处O(M^4)
2. I. Han, P. Kambadur, K. Park, and J. Shin. Faster greedy MAP inference for determinantal point processes. In Proceedings of ICML 2017, pages 1384–1393, 2017. 速度优化O(M3)
3. J. Gillenwater. Approximate inference for determinantal point processes. University of Pennsyl-vania, 2014. 条件下O(N^2M)
4. Chen L, Zhang G, Zhou E. Fast greedy map inference for determinantal point process to improve recommendation diversity[C]//Advances in Neural Information Processing Systems. 2018: 5622-5633.
5. A. Kulesza and B. Taskar. Determinantal point processes for machine learning. Foundations and Trends R ? in Machine Learning, 5(2–3):123–286, 2012.
6. Improving the Diversity of Top-N Recommendation via Determinantal Point Process