非负矩阵分解中的L1和L2范式稀疏性约束应用
L1、L2范式
假设需要求解的目标函数为：
E(x) = f(x) + r(x)
其中f(x)为损失函数，用来评价模型训练损失，必须是任意的可微凸函数，r(x)为规范化约束因子，用来对模型进行限制，根据模型参数的概率分布不同，r(x)一般有:L1范式约束(模型服从高斯分布)，L2范式约束(模型服从拉普拉斯分布)；其它的约束一般为两者组合形式。
L1范式约束一般为：
L2范式约束一般为:
本文探讨了在非负矩阵分解中使用L1和L2范式作为稀疏性约束的方法。L1范式能产生稀疏解，适合高维特征空间，而L2范式则用于防止过拟合。通过结合两者，可以设定不同的稀疏度以调整模型。文中介绍了包含稀疏度约束的目标函数，以及相应的投影算法，该算法在给定稀疏度条件下找到最接近的向量。
订阅专栏 解锁全文
扫一扫
587
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
