54、概率判别模型与逻辑回归解析

概率判别模型与逻辑回归解析

1. 基础函数与后验概率建模

在许多实际问题中，类条件密度 $p(x|C_k)$ 之间往往存在显著的重叠。这意味着对于某些 $x$ 值，后验概率 $p(C_k|x)$ 既不为 0 也不为 1。在这种情况下，最优解决方案是准确地对后验概率进行建模，然后应用标准的决策理论。

通常，基础函数中的一个会被设定为常数，例如 $\varphi_0(x) = 1$，这样对应的参数 $w_0$ 就起到了偏置的作用。在后续的讨论中，我们会引入一个固定的基础函数变换 $\varphi(x)$，这有助于凸显与回归模型的一些相似之处。

需要注意的是，非线性变换 $\varphi(x)$ 并不能消除类之间的重叠。实际上，它们可能会增加重叠程度，或者在原始观测空间中原本没有重叠的地方创造出重叠。不过，合适的非线性选择可以使后验概率的建模过程变得更容易。

固定基础函数模型存在重要的局限性，但在应用中，具有固定非线性基础函数的模型仍然扮演着重要的角色。对这类模型的讨论将引入理解更复杂模型所需的许多关键概念。

1.1 基础函数模型的局限性与优势

• 局限性 ：固定基础函数模型无法有效处理类重叠问题，且不能根据数据自适应调整基础函数。
• 优势 ：能够凸显与回归模型的相似性，为理解更复杂的模型奠定基础。

1.2 非线性变换对类重叠的影响

<

变换类型	对类重叠的影响