43、提升基于最近邻的多目标预测及近似支持向量机求解器

提升基于最近邻的多目标预测及近似支持向量机求解器

提升基于最近邻的多目标预测

多目标回归问题旨在估计一个唯一的预测器，使真实输出和预测输出之间的预期偏差最小化。解决该问题主要有两种方法：
- 问题转换（局部）方法 ：为每个输出变量独立获取单变量预测器，将多目标预测问题转换为一个或多个单目标问题。
- 算法适应（全局）方法 ：直接处理多个目标，专注于捕捉目标之间的相互依赖和内部关系，可分为统计、支持向量、核、树或基于规则等类别。

此外，最近邻（NN）规则也是一种常用的非参数方法，具有在广泛应用中表现平滑的优点。K - NN for Structured Predicitions（KNN - SP）方法在多目标回归中表现出色，其步骤如下：
1. 以邻域大小K为参数，根据固定距离（通常是加权欧几里得距离）为给定查询点选择K个最近邻。
2. 最终预测值为相应K个目标值的（加权）平均值，权重根据目标空间中的（欧几里得）距离设置。

为了进一步提升KNN - SP的效果，引入了距离度量学习（DML）。在分类问题中，DML通过使同类点靠近、不同类点远离来学习距离。但在回归问题中，需要引入输入和输出空间的更多信息。为此，提出了一种基于三元组的输入输出同质性准则，以学习多目标回归的输入距离。具体步骤如下：
1. 选择与分类问题相同类型的三元组$(x_i, x_j, x_l)$，根据输出确定点之间的相似性，以保持输入和输出空间中距离引入的相对顺序。
2. 构建优化问题，目标是获得由矩阵W参数化的类似马氏距离，最大化间隔准则。该问题转化为最小化W的正则化项（其Frobe