Label Propagation Algorithm

1 Label Propagation Algorithm

1.1 简介

标签传播算法(label propagation algorithm，LPA)是Zhu等人2002年提出的一种基于图的半监督学习方法。其基本思想是用部分已标记标签的节点预测所有未标记的节点标签信息。Usha等人于2007年首次将LPA思想用于社区检测。标签传播的半监督学习形式为

$$\min_f \sum_{i=1}^L \lVert f_i - y_i\rVert^2 + \lambda \sum_{ij}^{L+U} W_{ij}\lVert f_i - f_j\rVert^2$$
其中, $L$为带标记样本总数，$U$为未标记样本总数，以及
$$W_{ij}=\exp\left( -\frac{d_{ij}^2}{\sigma^2}\right)=\exp\left( -\frac{\sum_{d=1}^D || x_{id}-x_{jd}||^2}{\sigma^2}\right)$$
LPA尽力给具有较大权值的两个样本具有相同的标签。

1.2 算法

首先，我们定一个概率转移矩阵$P$:

$$P_{ij}=P(i\rightarrow j)=\frac{W_{ij}}{\sum_{k} W_{ik}}$$
$P_{ij}$表示从节点$i$跳转到$j$的概率。

假设有$C$个标签类别，$L$个标记样本$Y_L \in R^{L\times C}$和$U$个未标记样本$Y_U \in R^{U\times C}$。我们将这两个数据矩阵合为一个数据矩阵，

$$X=[Y_L;Y_U]$$
那么，LP算法如下所示：

while($X$收敛)
{
    执行传播： $X=PX$;
    重置标签： $X_L=Y_L$;
}

1.3 改进

LPA每次迭代第2)步的时候，这部分计算者可以省略。矩阵分块就可以做到。我们可以将矩阵$P$做以下划分：

$$P=\begin{pmatrix} \begin{array} PP_{LL} & P_{LU}\\ P_{UL} & P_{UU} \end{array}\end{pmatrix}$$
相应地，算法更新为，

$$X_U \leftarrow P_{UU}X_U + P_{UL}X_L$$

---

2 Community Detection by LPA

Usha等人于2007年首次将标签传播算法用于社区识别（CDLPA）。不同于第一部分的LPA，Usha等人提出的算法并没有考虑到已标注的标签信息，这导致该算法的不稳定，即CDLPA可能得到多个不同的社区划分结果。

CDLPA的具体算法如下所示：

1) Initialize the labels at all nodes in the network. For a given node $x$, set $C_x(0)=x$;
2) $t\leftarrow 1$;
3) Arrange the nodes in the network in a random order and set it to $X$;
4) For each $x\in X$ chosen in that specific order, let $C_x(t)=f(C_{x_{i1}}(t),...,C_{x_{im}}(t),C_{x_{i(m+1)}}(t-1) ,...,C_{x_{ik}}(t-1) )$. $f$ returns the label occurring with the highest frequency among neighbors and ties are broken uniformly randomly.
5) If every node has a label that the maximum number of their neighbors have, then stop the algorithm. Else, set $t\leftarrow t+1$ and go to 3).

算法终止条件：

$$\mathrm{If\ } i \mathrm{\ has\ label\ } C_m \mathrm{\ then\ } d_i^{C_m}\geq d_i^{C_j}\quad \forall j .$$
说明：
$C_x(t)$: 是结点$x$在时刻$t$的标签。
$d_i^{C_j}$: 是结点$x$具有标签$C_j$的邻居结点个数。

---