64、变量选择方法：收缩法与贝叶斯法解析

变量选择方法：收缩法与贝叶斯法解析

1. 收缩方法

收缩方法旨在通过对模型参数施加惩罚项，使得一些不重要的变量的系数趋近于零，从而实现变量选择和模型简化。在某些情况下，使用相同的调整参数 λ 对所有惩罚项中的 $\left\lVert w^{(j)} \right\rVert_{\infty}$ 进行约束。为了让稀疏性更具适应性，可根据变量的相对重要性对不同变量施加不同的惩罚。

自适应上确界 MSVM（多类支持向量机）的目标是找到最优的参数，使得目标函数最小化：
[
(\hat{b} {asup}, \hat{w} {asup}) = \arg\min_{w,b} \sum_{i=1}^{n} \sum_{k=1}^{K} I(y_i \neq k)[f_k(x_i) + 1]^+ + \lambda \sum_{j=1}^{p} \tau_j \left\lVert w^{(j)} \right\rVert_{\infty}
]
同时满足约束条件：
[
\sum_{k=1}^{K} b_k = 0, \quad \sum_{k=1}^{K} w_k = 0
]
其中，权重 $\tau_j \geq 0$ 是自适应选择的。一种自然的选择是 $\tau_j = \frac{1}{\left\lVert \tilde{w}^{(j)} \right\rVert_{\infty}}$，$j = 1, \cdots, p$，在数值示例中通常表现良好。若 $\left\lVert \tilde{w}^{(j)} \right\rVert_{\infty} = 0$，则意味着对与 $X_j$ 相关的所有系数 $