12、图像空间与决策理论基础

图像空间与决策理论基础

在高维空间中，其维度由像素数量决定。由于物体在图像中可以出现在不同位置和方向，图像之间存在三种自由度的变化。一组图像会位于嵌入在高维空间中的三维流形上。由于物体位置或方向与像素强度之间的复杂关系，这个流形将是高度非线性的。如果目标是学习一个模型，该模型能够接收输入图像并输出物体的方向而不考虑其位置，那么流形中只有一个自由度的变化是显著的。

概率理论为我们提供了一个一致的数学框架，用于量化和处理不确定性。而决策理论与概率理论相结合，使我们能够在涉及不确定性的情况下做出最优决策，例如在模式识别中遇到的情况。

假设我们有一个输入向量 $x$ 以及对应的目标变量向量 $t$，我们的目标是根据新的 $x$ 值预测 $t$。对于回归问题，$t$ 包含连续变量；对于分类问题，$t$ 表示类别标签。联合概率分布 $p(x, t)$ 提供了与这些变量相关的不确定性的完整总结。从一组训练数据中确定 $p(x, t)$ 是推理的一个例子，通常是一个非常困难的问题。

在实际应用中，我们通常必须对 $t$ 的值做出具体预测，或者更一般地，根据我们对 $t$ 可能取值的理解采取具体行动，这就是决策理论的主题。

以医学诊断问题为例，我们获取了患者的 X 射线图像，我们想确定患者是否患有癌症。在这种情况下，输入向量 $x$ 是图像中的像素强度集，输出变量 $t$ 表示癌症的存在（记为类别 $C_1$）或不存在（记为类别 $C_2$）。我们可以选择 $t$ 为二进制变量，使得 $t = 0$ 对应类别 $C_1$，$t = 1$ 对应类别 $C_2$。一般推理问题涉及确定联合分布 $p(x, C_k)$ 或等价地 $p(x, t)$，这为我们提供了对情况的最完整概率描述。尽