Schwertlilien的小屋

Ch5 线性判别函数文章目录Ch5 线性判别函数引言：生成模型 vs判别模型生成模型 vs 判别模型判别模型分类线性判别函数与决策面线性判别函数两类情况下的决策多类问题下决策多类情形-线性机器线性决策面优缺点广义线性判别函数例：二次判别函数例1: 1-D判别函数感知准则函数概念齐次增广->规范化增广解向量与解区感知准则函数算法收敛性松驰方法学习准则最小平方误差（MSE）准则函数线性判别函数的参数估计可得一个线性方程组：Ya=bYa = bYa=b$$\begin{bmatrix}y_{10}

Ch4 非参数估计文章目录Ch4 非参数估计非参数密度估计基本原理收敛性Parzen窗估计方法介绍窗函数的选择窗宽的影响例子：用高斯窗估计高斯分布1-D2-DK近邻估计基本方法收敛性分析: knk_nkn​的选择对收敛的影响pn(x)p_n(x)pn​(x)一维下解析表达式K近邻分类器最近邻分类器例子最近邻规则的错误率分析推导过程K近邻分类器K近邻分类器与K近邻估计的关系K近邻的快速计算部分距离搜索树压缩近邻法距离度量欧氏距离Mahalanobis（马氏）距离性质Tangent Distance（切向距

隐马尔可夫模型(HMM)时间序列模型:X={x1,x2.…,xn}X=\{\mathbf{x}_1,\mathbf{x}_2.\dots,\mathbf{x}_n\}X={x1​,x2​.…,xn​}nnn是序列长度xt∈Rd\mathbf{x}_t\in\mathbb{R}^dxt​∈Rd是XXX在t时刻的观察数据不满足独立假设、观测数据间具有很强的相关性。**Q: 如何对序列数据表示、学习和推理? **首先需要引入关于数据分布和时间轴依赖关系的概率模型，即如何表示p(x1,x2,…,x

特征维数问题:分类错误率与特征的关系模式分类与特征的关系贝叶斯决策(0-1损失)：w∗=arg⁡max⁡jp(wj∣x)w^{*}=\arg\max_{j}p(w_{j}\vert \mathbf{x})w∗=argmaxj​p(wj​∣x)特征空间给定时，贝叶斯分类错误率就确定了，即分类性能的理论上限就确定了（与分类器、学习算法无关）增加特征有什么好处：判别性：类别间有差异的特征有助于分类带来什么问题：泛化性能、Overfitting（过拟合）、计算、存储高斯分布（两类问题）p(x∣wj

基本假设密度px∣θpx∣θ的形式已知，但参数向量的值未知。关于θ\thetaθ的初始知识包含在已知的先验密度pθp(\theta)pθ中。关于θ\thetaθ的其余知识包含在根据未知概率密度pxpx独立抽取的nnn个样本x1x2⋯xnx1​x2​⋯xn​的集合DDD中。基本问题：计算关于参数θ\thetaθ的后验密度pθ∣Dpθ∣D和关于数据的后验密度px∣Dpx∣D。pθ∣。

贝叶斯估计是概率密度估计中另一类主要的参数估计方法。其结果在很多情况下与最大似然法十分相似，但是，两种方法对问题的处理视角是不一样的。这些方程展示了先验信息如何与样本中的经验信息相结合以获得后验密度。PR/ML方法中普遍使用的L2正则，等价于假设参数服从。，数据独立采样，且服从数据分布：(数据是互相独立的)的后验分布，并没有像最大似然估计那样获得参数。积分通常很难计算，使用蒙特卡洛近似方法： 是。，在上述条件下，估计关于参数的后验分布。利用贝叶斯公式计算参数的后验分布。上面公式给出的是一维下估计。

μΣ。

分类错误率最小错误率贝叶斯决策样本xxx的错误率： 任一决策都可能会有错误。P(error∣x)={P(w2∣x),if we decide x as w1P(w1∣x),if we decide x as w2P(\text{error}|\mathbf{x})=\begin{cases} P(w_2|\mathbf{x}), & \text{if we decide } \mathbf{

高斯密度下的判别函数高斯分布在给定均值和方差的所有分布中，正态分布的熵最大根据Central Limit Theorem(中心极限定理)，大量独立随机变量之和趋近正态分布实际环境中，很多类别的特征分布趋近正态分布多元正态分布：x=[x1,x2,…,xd]T∈Rd, μ=[μ1,μ2,…,μd]T∈Rd\mathbf{x} = [x_1, x_2, \ldots, x_d]^T \in \mathbb{R}^d,\ \boldsymbol{\mu} = [\mu_1, \mu_2,

Ch2 贝叶斯决策(Bayesian Decision Theory)文章目录Ch2 贝叶斯决策(Bayesian Decision Theory)最小错误率bayes决策最小风险bayes决策c=2且无拒识例: 最小风险bayes决策条件风险是0-1损失c=c+1且带拒识开放集分类bayes决策分类器设计判别函数c=2情形下的判别函数决策面c=2情形下的决策面方程分类器设计P(⋅)P( \cdot )P(⋅): 表示概率分布函数，p(⋅)p(\cdot)p(⋅): 表示概率密度函数PDF.p(x∣

文章目录监督学习(Supervised)原理输入空间、特征空间、输出空间KNN算法(K-Nearest Neighbor Classification)支持向量机(SVM)朴素贝叶斯分类(Nave Bayes)决策树算法监督学习(Supervised)​ 监督学习是目前运用最广泛的一种ML方法。如BP、决策树。监督学习通过训练既有特征又有鉴定标签的训练数据，让机器学习特征与标签之间产生联系。在训练好之后，可以预测只有特征数据的标签。监督学习可分为回归(Regression)分析和分类(Classific