13、回归的自动特征设计：从理论到实践

回归的自动特征设计：从理论到实践

在机器学习的回归任务中，特征设计是至关重要的一环。本文将深入探讨回归中的自动特征设计，包括神经网络基础、离散连续函数的近似、实际回归场景以及交叉验证等内容。

1. 神经网络基础

• 多层隐藏层神经网络 ：可以通过重复特定过程生成具有任意数量隐藏层的神经网络基础。通常，具有三个或更多隐藏层的神经网络基础被称为深度网络。
• 权重恢复 ：调整权重和可能的内部参数的常见方法是最小化最小二乘成本函数。对于理想回归场景中的连续函数，最小二乘问题通常难以解析求解，需要进行离散化处理。具体来说，要最小化以下成本函数：
  [
  \min_{w_0,\cdots,w_M,\epsilon}\int_{x\in[0, 1]^N} \left(\sum_{m = 0}^{M} f_m(x) w_m - y(x)\right)^2 dx
  ]
  其中，(\epsilon) 包含基元素本身的可能参数，如果使用固定基，则该集合为空。
• 神经网络的图形表示 ：可以用图形表示神经网络基础特征的加权和，以可视化每个元素的组成结构。例如，对于表达式 (a(x_1v_1 + x_2v_2 + x_3v_3))，其图形表示包括加权边、求和单元和激活单元。

下面是一个简单的 mermaid 流程图，展示神经网络的输入输出关系：

graph LR
    classDef startend fill