40、约束下的学习与推理算法解析

约束下的学习与推理算法解析

1. 约束优化问题概述

在许多实际场景中，我们常常需要在约束条件下进行优化求解。例如，要找到如下优化问题的解：
[
\begin{pmatrix}
w^{\star}\
q^{\star}
\end{pmatrix}
= \arg\min_{w,q}
\left(
\sum_{\psi\in C_{\psi}(w)} V_{\psi}(w) +
\sum_{\psi\in C_{\psi}(q)} V_{\psi}(q) + \mu R(w)
\right)
]
一个在原始空间中工作的约束机器，可用于优化上述成本函数。它有多种应用场景，比如在顶点特征可能缺失的领域进行分类（即文献中的集体分类），还能通过将缺失特征设为未知数来推断它们。

2. 输入空间中的命题约束

2.1 点约束与维度诅咒

点约束可以从分布的角度进行解释，最优函数解是由正则化算子表征的线性系统的输出。根据叠加原理，输出可通过在训练集的点上展开格林函数来确定。然而，对于一般的约束 $\psi$ 及其反应 $\omega_{\psi}$，卷积 $g * \omega_{\psi}$ 的计算往往会陷入维度诅咒，在高维空间中计算积分或求解偏微分方程变得难以处理。

不过，了解约束的类型有助于我们发现更有效的表示方法，这些方法通常继承自约束的结构。

2.2 命题描述学习

我们考虑一种重要的情况，即命题描述。例如，对于输入 $x \in X$ 的某些坐标，我们有先验知识，这些知识可以用坐标值属