15、回归与分类的自动特征设计

回归与分类的自动特征设计

1. 回归的自动特征设计概述

回归问题可视为有噪声采样的函数逼近问题。我们从理想但不现实的场景出发，即已知数据生成函数本身，引入了固定和可调整的前馈神经网络基础特征。这些基础特征的元素可以组合，以自动生成用于逼近任何此类函数的特征。

为学习这些基础特征的合适权重，对应的最小二乘问题往往难以处理。通过对基础特征和期望函数进行离散化，可得到一个近似原问题的离散最小二乘问题，该问题可通过数值优化求解。

在实际的非线性回归中，数据通常是某个潜在函数的有噪声样本，同样可以使用离散化框架和离散最小二乘问题进行回归。

然而，增加基础特征的数量虽然能使模型更好地拟合当前数据，但可能会导致过拟合，即模型对未来数据或潜在数据生成函数的表示能力变差。为避免这种情况，可采用交叉验证技术，其中k折交叉验证方法非常有用，但计算成本较高。

在选择基础特征或特征映射时，虽然很难确定哪种基础特征在所有情况下都最适用，但对数据背后现象的理解以及实际考虑因素，可帮助我们在许多重要情况下选择合适的基础特征，或至少缩小潜在候选范围。

2. 回归相关练习

2.1 第5.1节练习

• 练习5.1：正交性的便利性
  • 若一个基 ${x_m} {m = 1}^{M}$ 是正交的，即 $x_k^T x_j = \begin{cases} S, & k = j \ 0, & \text{else} \end{cases}$（其中 $S > 0$），例如标准基 $e {m,j} = \