17、基于统计方法的判别式字典学习

基于统计方法的判别式字典学习

1. 无监督深度学习算法

无监督字典学习算法可生成生成式或代表性字典，常用于图像去噪、去模糊和修复等任务。生成式字典可帮助重建图像中缺失的像素。

1.1 最优方向法（MOD）

在每次迭代中，MOD 通过计算系数矩阵的伪逆来更新字典，这会导致收敛速度较慢。

1.2 K - SVD 算法

K - SVD 是 k - means 算法的推广，它通过同时更新系数向量和字典原子，收敛速度更快。计算残差信号 E 时，只考虑系数向量中非零分量对应的元素，然后应用奇异值分解（SVD）对残差进行对角化，即 (E = UDV^T)。U 的第一列给出更新后的原子，第一个对角元素与 V 的第一行的乘积给出更新后的系数向量。保留信号中少数大奇异值的主要部分，可有效减少噪声，更好地表示信号。

1.3 其他无监督算法

增量码本优化（Incremental Codebook Optimization）和局部约束线性编码（Locality Constrained Linear Coding）也是无监督深度学习算法。

以下是无监督算法的对比表格：
| 算法名称 | 原理 | 收敛速度 | 应用场景 |
| ---- | ---- | ---- | ---- |
| MOD | 计算系数矩阵伪逆更新字典 | 慢 | 图像去噪、修复等 |
| K - SVD | 同时更新系数向量和字典原子 | 快 | 图像去噪、修复等 |
| 增量码本优化 | - | - | - |
| 局部约束线性编码 | - | - | - | <