39、特征选择、生成与拉德马赫复杂度解析

特征选择、生成与拉德马赫复杂度解析

1. 特征选择与生成

特征选择与生成在机器学习领域至关重要，其与 $\ell_1$ 范数和稀疏性之间的关系密切，同时也和压缩感知紧密相关。低 $\ell_1$ 范数预测器的稀疏化能力可追溯到 Maurey 的研究。此外，低 $\ell_1$ 范数还可用于界定预测器的估计误差。

在深度学习的背景下，特征学习和字典学习得到了广泛研究。众多学者在这方面做出了贡献，相关研究成果为特征学习和字典学习的发展提供了理论支持和实践指导。

在练习部分，有几个重要的问题值得关注：
- 证明等式 ：要证明方程 (25.1) 给出的等式，可通过设 $a^ $、$b^ $ 为等式左边的极小值点，找到合适的 $a$、$b$ 使等式右边的目标值小于左边，反之亦然。
- 求解方程 ：需证明方程 (25.7) 是方程 (25.6) 的解。
- AdaBoost 算法解读 ：将 AdaBoost 算法视为前向贪心选择算法，具体包括以下几个方面：
- 给定一组 $m$ 个实例 $x_1, \cdots, x_m$ 和具有有限 VC 维的假设类 $H$，要证明存在 $d$ 和 $h_1, \cdots, h_d$，使得对于任意 $h \in H$，都存在 $i \in [d]$ 满足 $h_i(x_j) = h(x_j)$ 对所有 $j \in [m]$ 成立。
- 设 $R(w)$ 按方程 (25.3) 定义，给定 $w$，定义 $f_w(\cdot) = \sum_{i = 1}^{d} w_i