26、煤炭发热量预测与智能交通最短路径算法研究

煤炭发热量预测与智能交通最短路径算法研究

煤炭发热量预测

最小二乘支持向量回归

在回归问题中，我们有输入向量的训练样本 ${x_i} {i = 1}^{n}$ 以及对应的目标 ${y_i} {i = 1}^{n}$，任务是找到一个能最好表示输入向量和目标之间关系的回归函数。非线性回归器通过 $f(x) = w^{\top}\varphi(x) + b$ 进行预测，其中 $\varphi(\cdot)$ 是将输入数据映射到高维特征空间的映射，$w$ 表示模型复杂度，$b$ 是偏差。

为了推导非线性回归器，最小二乘支持向量回归（LSSVR）解决以下优化问题：
$\min_{w,b,e_i} \frac{1}{2}|w|^2 + \frac{C}{2}\sum_{i = 1}^{n} e_i^2$
约束条件为：$y_i = w^{\top}\varphi(x_i) + b + e_i, i = 1, \cdots, n$
这里 $e_i$ 表示误差变量，$C > 0$ 是平衡模型复杂度和经验风险的正则化参数。

引入拉格朗日乘子，构建拉格朗日函数：
$L(w, b, e, \alpha) = \frac{1}{2}|w|^2 + \frac{C}{2}\sum_{i = 1}^{n} e_i^2 + \sum_{i = 1}^{n} \alpha_i(y_i - w^{\top}\varphi(x_i) - b - e_i)$
根据 Karush - Kuhn - Tucker（KKT）条件，得到以下函数：
$\frac{\partial L}{\partial w} = 0