这种半监督学习假设存在一个图G={V,E},其中V节点是有标价和无标记训练实例,无向边E连接实例i,j ,其中权重Wij。图有时被假设为一个潜在流形结构的随机实例,概率为p(x). wij 反映了xi 和xj的相似度。例如高斯边权函数定义
wij=exp(−||xi−xj||2/σ2)
.另一个例子KNN边权定义当两点是近邻时边权为1否则为0。更大的wij 暗示了对f(xi)和f(xj)的预测应该一样。可以使用一个函数f的图能力表示:
∑l+ui,j=1wij(f(xi)−f(xj))2
。
图能量函数感应出f函数中一个从大到小的暗含顺序。最好的排序函数是关于图最为平滑。图的能力函数可以使用称为未标准化的图拉普拉斯矩阵来解释。
为了找到f 其即能拟合有标记数据又在图或者流形上平滑(高排序),一个典型的最小下列目标函数:
argminf1l∑i=1lc(f(xi),yi)+λ1||f||2+λ2∑i,j=1l+uwij(f(xi)−f(xj))2
其中c(f(x), y)是一个凸的损失函数,例如hinge loss或者平方误差。
minF,sk∑Kk=1skTr((F(k))TL(k)F(k))+η∑Kk=1sklnsk
s.t.∑Kk=1sk=1,sk≥0,F(k)l=Y
minF∑Kk=1skTr((F(k))TL(k)F(k))
s.t.Fl=Y