13、基于统计方法的判别式字典学习

基于统计方法的判别式字典学习

1. 字典学习概述

字典学习的研究起源于独立成分分析（ICA）。ICA 通过施加二阶独立性来最小化向量分量之间的依赖关系，即变量是未知潜在变量的线性组合，且这些潜在变量也被假设为相互独立。对于具有有限协方差 $C_v$ 的随机向量 $v$，ICA 会找到一对矩阵 ${M, N}$，其中 $N$ 是对角矩阵，其元素按降序排列，使得 $C_v = MN^2M^*$。与字典学习（DL）类似，这里的方向也是正交的，并且 $M$ 的列具有单位范数约束。字典条目是实数，且 $M$ 每列中的最大模为正实数。在这些条件下，稀疏表示与 ICA 密切相关，因此可以像 ICA 一样，在应用贝叶斯检测和分类之前用作预处理工具。

1.1 贝叶斯稀疏编码过程

以下是贝叶斯稀疏编码的具体过程：

Procedure BayesianSparseCoding(y, D, threshold)
    y = Dx + ˛
    posterior = likelihood * prior / evidence
    p(x|y; q) ∝ p(y|x; q1) * p(x; q2) where q = (q1, q2) are hyperparameters.
    # 估计 bx，首先估计 bq
    Assign a prior to q with fixed hyper - hyperparameters, q0.
    p(x, q|y; q0) = p(y|x; q1)p(x; q2)p(q|q0) / p(y; q0)
    # 全贝叶斯方法
    Using Joint