89、机器学习中的局部加权回归与控制应用

机器学习中的局部加权回归与控制应用

1 局部距离度量适应与局部敏感哈希聚类

1.1 局部距离度量适应

在基于核的学习系统中，核的形状和大小对准确性和泛化能力起着关键作用。大多数核都有一个距离度量参数，它决定了核在马氏距离意义下的大小和形状。高级核学习会单独调整每个核的距离度量，而不是为所有核设置一个全局距离度量。

1.2 局部敏感哈希聚类

局部敏感哈希（LSH）技术的基本思想是使用多个哈希函数对数据点进行哈希，确保彼此接近的点有较高的碰撞概率，而不相似的点碰撞概率较低。LSH 方案适用于多种距离度量，如汉明范数、Lp 范数、余弦距离、地球移动距离（EMD）和杰卡德系数。

在 LSH 中，如果对于任何 a，函数 $p(t) = Pr_H[h(a) = h(b) : ||a - b|| = x]$ 随 x 减小，则将一个哈希函数族 $H = {h : S \to U}$ 定义为局部敏感的。基于此定义，点 a 和 b 的碰撞概率随它们的距离减小。

虽然 LSH 最初是为高维近似最近邻搜索提出的，但它也可用于聚类。哈希桶可以作为聚类的基础，多次设置哈希函数的种子有助于获得更好的聚类质量。

2 局部加权回归用于控制

2.1 学习控制与局部加权回归的定义

学习控制是指通过试错为特定控制系统和特定任务获取控制策略的过程，它与自适应控制不同，学习系统在学习过程中允许失败，类似于人类和动物获取新运动策略的方式。而自适应控制强调单次试验收敛且不失败，满足严格的性能约束。

局部加权回归是指通过空间局部化算法进行连续函数的监督学习（也称为函数逼近或回归），通常在核回归、最近邻方法或懒惰学习的背景下讨论。

2.2 全局学习与局部学习的区别

大多数回归算法是全局学习系统，例如许多算法可以理解为最小化全局损失函数，如期望平方和误差：
$J = E\left[\frac{1}{2}\sum_{i = 1}^{N}(t_i - y_i)^2\right] = E\left[\frac{1}{2}\sum_{i = 1}^{N}(t_i - \phi(x_i)^T\beta)^2\right]$

而局部学习系统将全局学习问题分解为多个更简单的学习问题。传统的局部加权回归方法通过将成本函数划分为多个独立的局部成本函数来实现这一点：
$J = E\left[\frac{1}{2}\sum_{k = 1}^{K}\sum_{i = 1}^{N}w_{k,i}(t_i - x_i^T\beta_k)^2\right] = \frac{1}{2}\sum_{k = 1}^{K}E\left[\sum_{i = 1}^{N}w_{k,i}(t_i - x_i^T\beta_k)^2\right] = \frac{1}{2}\sum_{k = 1}^{K}J_k$

另一种局部学习策略从全局目标出发，通过假设存在 K 个特征函数 $\phi_k$，使得第 k 个特征函数 $\phi_k(x_i) = w_{k,i}x_i$，从而将其重新表述为局部模型协作生成全局函数拟合的形式：
$J = E\left[\frac{1}{2}\sum_{i = 1}^{N}(t_i - \phi(x_i)^T\beta)^2\right] = E\left[\frac{1}{2}\sum_{i = 1}^{N}\left(t_i - \sum_{k = 1}^{K}w_{k,i}(x_i^T\beta_k)\right)^2\right]$

2.3 局部加权回归的动机和背景

当从增量到达的数据中学习时，尤其是处理非平稳输入分布时，局部加权回归方法通常比全局方法更受青睐。图 1 展示了在学习过程中，全局学习者可能会出现灾难性干扰，而局部加权回归算法则不会有这个问题，因为学习（以及泛化）被限制在局部区域。

局部加权回归的吸引人的特性包括：
- 可以在非平稳输入和输出分布下进行增量式函数逼近，且无显著干扰风险。
- 计算成本低，适合机器人快速控制循环中的在线计算。
- 可以实现持续学习和处理大量数据，而不会在现代计算硬件上遇到严重的计算问题。
- 是非参数方法，学习系统会随着数据复杂性的增加而增长。
- 可以包括特征选择、降维和贝叶斯推理，这些都是稳健统计推理所必需的。
- 与局部线性模型配合良好，局部线性化在控制应用中广泛使用。

2.4 局部学习系统的结构

所有局部学习方法都有三个关键组件：
1. 优化回归参数 $\beta_k$
2. 学习定义局部模型邻域的距离度量 $D_k$
3. 选择感受野的位置 $c_k$

局部学习方法可分为“懒惰”方法和“无记忆”方法：
- “懒惰”方法：需要存储所有训练数据，预测时才进行计算，如记忆型局部加权回归（LWR）。
- “无记忆”方法：将数据压缩到几个局部模型中，不需要存储数据点，如局部加权投影回归（LWPR）。

2.5 记忆型局部加权回归（LWR）

LWR 算法的步骤如下：
1. 将所有训练数据收集在矩阵 X 的行和向量 t 中。
2. 对于每个查询点 $x_q$，将加权核的中心设置为查询点。
3. 使用公式 $w_{k,i} = \exp\left(-\frac{1}{2}(x_i - c_k)^T D_k (x_i - c_k)\right)$ 计算权重，并将所有数据点的权重收集在对角权重矩阵 $W_q$ 中。
4. 计算局部回归系数：$\beta_q = (X^T W_q X)^{-1} X^T W_q t$
5. 形成预测：$y_q = [x_q^T 1] \beta_q$

对于 LWR，决定偏差 - 方差权衡的关键参数是距离度量 $D_q$。可以使用留一法交叉验证来优化 $D_q$，以获得全局最优值，或者将其作为查询点的函数进行局部优化。

2.6 局部加权投影回归（LWPR）

LWPR 是 LWR 的无记忆版本，其主要思想包括：
1. 仅当内存中没有现有核以最小激活权重覆盖训练点时，才创建新核。
2. 保留所有创建的核，并使用加权递归最小二乘法更新加权回归：
$\beta_{k}^{n + 1} = \beta_{k}^{n} + wP_{k}^{n + 1}\tilde{x}(t - \tilde{x}^T\beta_{k}^{n})$
其中 $P_{k}^{n + 1} = \frac{1}{w + \tilde{x}^T P_{k}^{n} \tilde{x}}\left(P_{k}^{n} - P_{k}^{n} \tilde{x}\tilde{x}^T P_{k}^{n}\right)$，$\tilde{x} = [x^T 1]^T$
3. 使用梯度下降技术和留一法交叉验证调整每个核的距离度量 $D_q$。
4. 对于查询点，通过对所有局部模型的预测取加权平均值进行预测：$y_q = \frac{\sum_{k = 1}^{K}w_{q,k}\hat{y} {q,k}}{\sum {k = 1}^{K}w_{q,k}}$

由于 PRESS 残差的存在，可以在不保留所有训练数据的情况下使用留一法交叉验证调整距离度量 $D_q$。此外，LWPR 还使用局部降维技术来处理高维输入空间的问题。

2.7 局部加权回归的全贝叶斯处理

Ting 等人（2008）提出了一种对 LWR 的全概率处理方法，以避免交叉验证过程并最小化手动参数调整。主要思想包括：
1. 引入隐藏变量 z 到局部线性模型中，将统计估计问题分解为 d 个独立的估计问题，得到一个迭代的期望最大化（EM）算法，其计算复杂度为 $O(Nd)$。
2. 为每个训练数据样本 ${x_i, t_i}$ 关联一个标量权重 $w_i$，并对每个输入维度 m 的权重 $w_{im}$ 放置一个伯努利先验概率分布：
$w_i = \prod_{m = 1}^{d}w_{im}$，其中 $w_{im} \sim Bernoulli(q_{im})$
$q_{im} = \frac{1}{1 + (x_{im} - x_{qm})^2 h_m}$
3. 对距离度量 $h_m$ 放置一个伽马先验概率分布：$h_m \sim Gamma(a_{h_{m0}}, b_{h_{m0}})$
4. 将模型视为一个类似 EM 的回归问题，使用变分近似来实现后验概率分布的解析可处理推理。

这种贝叶斯方法也可以作为一般的核整形算法应用于参数线性的全局核学习方法。

2.8 具有局部模型耦合的局部回归

Meier 等人（2014）提出了一种替代的局部学习方法，从全局目标出发，将其重新表述为局部模型协作生成函数拟合的形式：
$J = E\left[\frac{1}{2}\sum_{i = 1}^{N}\left(t_i - \sum_{k = 1}^{K}w_{k,i}(x_i^T\beta_k)\right)^2\right]$

局部高斯回归（LGR）的主要思想包括：
1. 引入高斯隐藏变量 $f_k$ 作为第 k 个局部模型加权贡献的虚拟目标：$f_{k,i} = N(w_{k,i}(x_i^T\beta_k), \beta_m^{-1})$
2. 假设目标 t 是带有高斯噪声的观测值，且隐藏变量 $f_k$ 需要总和为有噪声的目标 $t_i$：$t_i = N(\sum_{k}f_{k,i}, \beta_y^{-1})$
3. 使用变分近似来解耦局部模型，得到一个迭代的学习过程。
4. 隐藏变量 $f_k$ 的更新是局部模型预测之间的一种消息传递，允许虚拟目标值的重新分配。
5. 通过变分近似，每个局部模型的参数更新（$\beta_k$ 和 $D_k$）变得完全独立。
6. 对回归参数 $\beta_k$ 放置高斯先验，允许自动确定输入维度的相关性。
7. 对于增量到达的数据，应用递归贝叶斯更新，并在没有现有局部模型以最小激活权重激活时添加新的局部模型。
8. 查询输入 $x_q$ 的预测是局部模型预测的加权平均值：$y_q = \sum_{k = 1}^{K}w_{k,q}(x_q^T\beta_k)$

与 LWPR 相比，LGR 通常可以在使用更少局部模型的情况下实现类似的预测性能。

2.9 局部加权回归的应用

2.9.1 使用 LWPR 学习内部模型

学习内部模型是局部回归方法在控制中的典型应用之一。模型可以是前向模型（如机器人动力学的非线性微分方程）、逆模型（如预测机器人状态变化所需扭矩的方程）或任何其他建模环境输入输出关联的函数。

以 Sarcos 灵巧机器人手臂为例，通过在线学习肘部关节的逆动力学模型，LWPR 函数逼近器在训练过程中表现出良好的性能。机器人从无模型知识开始，使用比例 - 微分（PD）控制器跟踪随机变化的期望轨迹。在运动过程中，收集训练数据 $(q, \dot{q}, \ddot{q}, \tau)$，并使用每个数据点训练 LWPR 函数逼近器。经过约 5 分钟的训练（约 125,000 个数据点），使用约 350 个局部模型实现了非常好的性能。

2.9.2 学习成对的逆 - 前向模型

学习逆模型（如逆运动学和逆动力学模型）可能具有挑战性，因为逆模型问题通常是一种关系，而不是函数，存在一对多的映射。Ting 等人（2008）使用贝叶斯 LWR 学习触觉机器人手臂的逆运动学模型，通过学习前向运动学模型 $ \dot{x} = J(q)\dot{q}$，并在局部区域内学习逆映射。

在实验中，训练数据是在手臂在笛卡尔空间的受限盒子体积内进行随机正弦运动时收集的。通过将前向模型的局部区域用于逆运动学模型的学习，并结合奖励函数解决冗余问题，最终在图八跟踪任务中，学习到的逆模型表现与解析逆运动学解相似。

2.9.3 学习轨迹优化

Mitrovic 等人（2008）探索了人类感觉运动适应的理论，利用迭代线性二次高斯（iLQG）算法处理可能由形态改变、磨损或外部扰动导致的非线性和变化的植物动力学。为了使 iLQG 具有适应性，使用 LWPR 学习植物的前向动力学模型，形成 iLQG - LD 框架。

在一个两自由度平面人类手臂模型的实验中，研究了固定时间水平的到达运动。当存在垂直于到达运动的恒定单向力场作为扰动时，iLQG - LD 模型能够通过在线更新动力学模型来适应变化，跟踪性能随着试验的进行而改善，并且在移除力场后观察到与人类实验相似的后效应。

3 总结

局部加权回归在机器学习和控制领域具有重要的应用价值。通过将全局学习问题分解为局部问题，局部加权回归方法能够更好地处理非平稳输入分布和增量数据，避免全局学习者可能出现的灾难性干扰。不同的局部加权回归算法，如 LWR、LWPR、贝叶斯 LWR 和 LGR，各有特点，可以根据具体的应用场景和需求进行选择。在实际应用中，局部加权回归在学习内部模型、成对的逆 - 前向模型和轨迹优化等方面都取得了良好的效果，为机器人控制和人类运动模拟等领域提供了有效的解决方案。

3.1 未来展望

未来的研究可以进一步探索如何将局部加权回归方法与其他机器学习技术相结合，以提高性能和适应性。例如，在高维空间中，如何更有效地结合降维技术和局部加权回归，以处理数据的复杂性。此外，如何将贝叶斯方法更好地应用于局部加权回归，减少手动参数调整，提高模型的鲁棒性和泛化能力，也是一个值得研究的方向。同时，随着机器人技术和人工智能的不断发展，局部加权回归在更复杂的控制任务和实际应用中的拓展也具有广阔的前景。

3.2 相关资源

以下是一些相关的程序和数据资源：
- http://www - clmc.usc.edu/software
- http://www.ipab.inf.ed.ac.uk/slmc/software/

3.3 流程图

graph TD;
    A[数据输入] --> B[局部加权回归算法选择];
    B --> C{是否为LWR};
    C -- 是 --> D[收集训练数据到X和t];
    C -- 否 --> E{是否为LWPR};
    E -- 是 --> F[按需创建新核并更新回归];
    E -- 否 --> G{是否为贝叶斯LWR};
    G -- 是 --> H[引入隐藏变量和先验分布];
    G -- 否 --> I[使用LGR方法];
    D --> J[计算权重和回归系数];
    F --> K[调整距离度量和预测];
    H --> L[使用变分近似推理];
    I --> M[引入隐藏变量和解耦模型];
    J --> N[形成预测];
    K --> N;
    L --> N;
    M --> N;
    N --> O[应用于控制任务];

3.4 表格

算法名称	类型	特点	应用场景
LWR	懒惰方法	需要存储所有训练数据，适合小规模数据	简单的函数逼近任务
LWPR	无记忆方法	避免最近邻计算，适合大规模数据和实时预测	机器人控制中的内部模型学习
贝叶斯LWR	懒惰方法	概率处理，减少手动参数调整	对模型鲁棒性要求高的任务
LGR	无记忆方法	局部模型协作，使用更少局部模型实现类似性能	复杂的函数逼近和控制任务

4 局部加权回归算法对比分析

4.1 算法性能对比

为了更清晰地了解不同局部加权回归算法的性能差异，我们从计算复杂度、泛化能力和对数据的适应性等方面进行对比，具体内容如下表所示：
| 算法名称 | 计算复杂度 | 泛化能力 | 对数据适应性 |
| ---- | ---- | ---- | ---- |
| LWR | 较高，尤其是在高维数据和大量局部模型时，因为涉及矩阵求逆等操作 | 受限于局部模型，在数据分布变化大时泛化能力一般 | 适合小规模、平稳数据 |
| LWPR | 相对较低，通过降维和递归更新减少计算量 | 较好，能适应非平稳数据和增量学习 | 适合大规模、非平稳数据，实时控制场景 |
| 贝叶斯LWR | 适中，引入概率模型增加一定复杂度，但可减少手动调参 | 强，基于贝叶斯推理提供更稳健的预测 | 对数据质量要求高，适合需要精确建模的场景 |
| LGR | 适中，通过变分近似解耦局部模型，计算量可控 | 强，局部模型协作提高泛化性能 | 适合复杂函数拟合和控制任务 |

4.2 算法选择建议

根据不同的应用场景和数据特点，我们可以按照以下原则选择合适的局部加权回归算法：
- 数据规模较小且平稳 ：可以优先考虑 LWR，其实现简单，能快速完成函数逼近任务。
- 数据规模大且非平稳，需要实时控制 ：LWPR 是不错的选择，它能有效处理大规模数据，且计算效率高，适合机器人控制等实时性要求高的场景。
- 对模型鲁棒性和泛化能力要求高，且希望减少手动调参 ：贝叶斯 LWR 更合适，其基于概率模型的处理方式能更好地应对数据的不确定性。
- 处理复杂函数拟合和控制任务 ：LGR 能够通过局部模型的协作，在使用较少局部模型的情况下实现较好的预测性能。

5 局部加权回归在实际应用中的挑战与解决方案

5.1 高维数据挑战

在高维数据场景下，局部加权回归算法面临着计算复杂度增加和数据稀疏性的问题。例如，LWR 在高维数据中，矩阵求逆操作会变得不稳定且计算量大；而数据的稀疏性会导致局部模型难以准确拟合数据。

针对这些问题，可以采用以下解决方案：
- 降维技术 ：如主成分分析（PCA）、偏最小二乘（PLS）等，减少数据维度，降低计算复杂度。在 LWPR 中就使用了 PLS 回归进行降维处理。
- 局部特征选择 ：选择与目标变量相关性高的特征，减少无关特征的干扰，提高局部模型的拟合效果。

5.2 参数调整挑战

局部加权回归算法中的参数，如距离度量、核带宽等，对模型性能影响较大。手动调整参数不仅耗时费力，还难以找到最优参数组合。

为了解决参数调整问题，可以采用以下方法：
- 自动化调参算法 ：如网格搜索、随机搜索等，通过遍历参数空间，找到最优参数组合。
- 贝叶斯优化 ：利用贝叶斯推理，根据已有的参数评估结果，智能地选择下一组待评估的参数，提高调参效率。

5.3 数据非平稳性挑战

当数据的分布随时间或其他因素发生变化时，局部加权回归算法可能会出现性能下降的问题。

应对数据非平稳性，可以采取以下策略：
- 增量学习 ：不断更新局部模型，使其适应新的数据分布。LWPR 和 LGR 都支持增量学习，能够在新数据到来时及时调整模型。
- 自适应权重调整 ：根据数据的变化动态调整局部模型的权重，增强模型对非平稳数据的适应性。

6 结论

局部加权回归作为一种强大的机器学习技术，在控制领域展现出了巨大的应用潜力。通过将全局学习问题转化为局部问题，它能够有效地处理非平稳数据和增量学习，避免了全局学习方法可能出现的灾难性干扰。不同的局部加权回归算法各有优劣，适用于不同的应用场景。在实际应用中，我们需要根据数据特点和任务需求，选择合适的算法，并应对高维数据、参数调整和数据非平稳性等挑战。

6.1 研究总结

本文详细介绍了局部加权回归的相关概念、算法和应用。从局部距离度量适应和局部敏感哈希聚类的基础理论，到不同局部加权回归算法（LWR、LWPR、贝叶斯 LWR 和 LGR）的原理和实现步骤，再到这些算法在学习内部模型、成对的逆 - 前向模型和轨迹优化等实际应用中的具体案例，我们对局部加权回归有了全面而深入的了解。

6.2 未来研究方向

未来的研究可以聚焦于以下几个方面：
- 算法融合 ：将局部加权回归与其他机器学习技术，如深度学习、强化学习等相结合，探索新的应用场景和解决方案。
- 理论优化 ：进一步完善局部加权回归的理论基础，提高算法的收敛速度和稳定性。
- 实际应用拓展 ：将局部加权回归应用于更多领域，如医疗、金融等，为解决实际问题提供新的思路和方法。

6.3 流程图

graph TD;
    A[实际应用场景] --> B{数据特点};
    B -- 高维、非平稳 --> C[选择LWPR或LGR];
    B -- 低维、平稳 --> D[选择LWR或贝叶斯LWR];
    C --> E[应用降维技术和增量学习];
    D --> F[根据需求选择手动调参或贝叶斯优化];
    E --> G[模型训练与优化];
    F --> G;
    G --> H[模型评估];
    H -- 性能达标 --> I[应用于实际任务];
    H -- 性能不达标 --> J[调整参数或更换算法];
    J --> G;

6.4 表格

挑战	表现	解决方案
高维数据	计算复杂度增加、数据稀疏	降维技术、局部特征选择
参数调整	手动调参困难、难以找到最优组合	自动化调参算法、贝叶斯优化
数据非平稳性	模型性能下降	增量学习、自适应权重调整