8、低秩稀疏字典学习：原理、优化与应用

低秩稀疏字典学习：原理、优化与应用

在图像分类任务中，训练样本往往存在大量噪声，如何学习一个具有判别性的字典成为关键问题。本文将详细介绍一种名为 D2L2R2 的模型，它结合了判别性重构函数、Fisher 判别函数和低秩正则化，能够在噪声环境下有效地学习字典。

问题描述

我们的目标是从训练样本集 $Y$ 中学习一个具有判别性的字典 $D$，用于未来的图像分类任务。训练样本集 $Y$ 由 $c$ 个不同类别的 $n$ 个训练样本组成，即 $Y = [Y_1, Y_2, …, Y_c]$，其中 $Y_i \in R^{d×n_i}$ 表示第 $i$ 类的所有训练样本。

我们不是从所有训练样本中整体学习字典，而是为每一类分别学习一个子字典 $D_i$，最终得到整个字典 $D = [D_1, D_2, …, D_c]$。每个子字典 $D_i$ 的大小为 $d × m_i$，其中 $d$ 是每个字典原子的维度，与每个训练样本的特征维度相同，$m_i$ 是第 $i$ 个子字典中的原子数量。

我们使用整个字典 $D$ 来表示整个训练集 $Y$，并将得到的稀疏系数矩阵记为 $X$。重构公式为 $Y \approx DX$，其中 $X = [X_1, X_2, …, X_c]$，$X_i$ 是使用 $D$ 表示 $Y_i$ 的系数子矩阵。

我们提出了以下 D2L2R2 模型：
$J_{D,X} = arg \min_{D,X} {R(D, X) + \lambda_1 |X| 1 + \lambda_2 F(X) + \alpha \sum {i} |D_i|_ }$
其中，$R(D, X)$ 是用于表达