本文介绍了模式识别中的判别函数和高斯分布知识，包括判别模型的概念、高斯分布的公式及特殊案例分析。讨论了等先验和不等先验情况下的欧氏距离和马氏距离分类器，以及线性判别函数在不同协方差矩阵条件下的决策边界。
关于高斯分布的一些知识，强烈推荐B站白板推导机器学习系列。我的ML作业好多都是跟着UP主学的_(:з)∠)_
判别函数
看到判别函数，我的第一反应是想起来上学期花了好久才有一点明白的“生成模型”和“判别模型”。
个人理解：生成模型旨在找出样本遵循的分布信息（感觉还是想逼近真正的分布），要对样本进行研究。然后利用学到的分布信息，对新的样本进行分类。判别模型更像是制作一种数学机器，用于分类，然后用样本来调整这台机器的参数，让它在某种指标下尽可能最优，实际上并不会关心这些样本到底是呈一种怎样的分布。
形式： g i ( x ) , i = 1 , . . . , c g_{i}(x),i=1,...,c gi(x),i=1,...,c
每个类别 ω i \omega_i ωi 都有一个判别函数 g i ( x ) g_i(x) gi(x)，把样本 x x x 扔给每个判别函数，最后取值最大的那个为样本的分类。
- Two-class Classification
二分类算是一个非此即彼的分类，所有只需要一个判别函数就可以解决问题。
形式： g ( x ) ≡ g 1 ( x ) − g 2 ( x ) g(x) \equiv g_1(x)-g_2(x) g(x)≡g1(x)−g2(x)，if g ( x ) ≥ 0 g(x) \ge 0 g(x)≥0 , decide ω 1 \omega_1 ω1 , otherwise decide ω 2 \omega_2 ω2
- 判别区域 and 判别边界
高斯分布
这部分主要结合之前学的贝叶斯决策论
先把高斯分布的概率密度函数写出来：
- 单高斯：
p ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 p(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} p(x)=2πσ1e−2σ2(x−μ)2
- 多高斯：
p ( x ) = 1 ( 2 π ) p / 2 ∣ Σ ∣ 1 / 2 e − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) p(x)=\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}e^{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)} p(x)=
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
