基于L2,1范数的特征选择方法

原文：https://blog.youkuaiyun.com/lqzdreamer/article/details/79678875

本文来自于论文Feiping Nie, Heng Huang, Xiao Cai, Chris H. Q. Ding. Efficient and Robust Feature Selection via Joint L2,1-Norms Minimization,NIPS,pp.1813-1821, 2010的阅读心得总结

该论文提出了一种基于损失函数和正则项的L2,1L2,1范数的特点：

• L1L1范数，则倾向于ω 的分量尽量稀疏，即非苓分量个数尽量少

论文的创新点在于：

• 受到L2,1L2,1范数，同时证明了该范数满足范数的三个条件。
  相关的讨论为：
  
• 将损失函数的优化问题写成一种矩阵的形式，对利用Lagrange对该问题进行了优化，提出了一种比较有效、快速的算法。

首先是，将损失函数的L2L2范数，即可以同步优化，为后面的优化过程提供了条件。

在该最小化目标函数的优化中，等价转化优化问题：

更进一步：

写成矩阵形式：

记：
即为

利用Lagrange方法，转化为：

求导（相关求导公式可以查看另外一篇博客） 矩阵L2,1范数及矩阵L2,p范数的求导：

其中

是对角阵，即有：

结合上式即有

此时U即为全局最优解，由于D矩阵中包含有U，因此需要迭代求解。算法步骤为：

关于迭代求解的收敛性证明（证明过程看论文），主要运用了引理：

同时，将该优化问题推广到更一般的情况（D仍为对角阵，f(U)是凸函数）：

迭代式：

该算法对基因组和蛋白质组生物标志物进行了实验，取得了高效、高准确度的效果。