这是个无聊的世界

贝叶斯估计标签： 模式分类@author lancelot-vim类条件密度贝叶斯分类方法的核心是后验概率P(wi|x⃗ )P(w_i |\vec{x}) 的计算。贝叶斯公式告诉我们，如何根据类条件概率密度p(x⃗ |wi)p(\vec{x}|w_i) 和各类别的先验概率P(wi)P(w_i) 来计算这个后验概率,加入你有数据集DD，那么根据贝叶斯公式：P(wi|x⃗ ,D)=p(x⃗ |wi,D)

切空间距离标签（空格分隔）： 模式分类在很多分类算法中，如果不加考虑地随意选择距离度量，会存在很多问题。例如，对于knn算法，如果不加考虑地使用了欧几里得距离即d=∑|xi−yi|2−−−−−−−−−√d = \sqrt{\sum|x_i - y_i|^2}，那么在这个问题上可能给你带来毁灭性的结果。 \qquad \qquad \qquad \qquad \qquad 如上图所示，如果手写体

概述，贝叶斯策略，最大似然估计标签： 模式分类@author lancelot-vim绪论宽度和数量直方图：光泽度和数量直方图：宽度-光泽度联合分类图：简单归纳：从单一特征得到的分类一般不强将单一特征组合起来成多特征分类能得到更强的分类器分类器模型简单（如图中红色线条）会比较弱，分类器太强（如图中蓝色线条）可能会过分类以上问题，可能会存在如果鲈鱼分错，可能不会有太大的问题，但反之可能造成很大

概率神经网络实现Parzen窗方法标签（空格分隔）： 模式分类假设我们要实现一个Parzen估计，共有n个d维度的样本，都是随机从c个类别中选取的，这种情况下，输入层由d个输入单元组成，每个输入单元都与n个模式单元相连。每一个模式单元都与c个类别中的其中之一相连。 从输入层到模式层的连线表示为可以修改的权系数，这些系数都可以通过训练得到。这些权重可以用一个向量θ\theta表示，但为了与神经网络术

隐马尔可夫模型的计算标签： 模式分类@author lancelot-vim约定一些新的术语，并且将重新整理记号系统。通常把隐马尔可夫模型图称为有限状态机(finite state machine, FSM)，如果网络内部得转移都和概率相关，那么这样得网络叫做马尔可夫网络。这种网络是严格符合因果关系的，因为下一时刻状态的概率，之和上一时刻状态有关，如果只要选择好相应得合适得初始状态，每个特定得状态发

非参数估计标签（空格分隔）： 模式分类@author lancelot-vim概率密度的估计估计未知概率密度的一个基本事实是：一个向量x⃗ \vec{x}落在区域R中的概率为:P=∫Rp(x′)dx′P = \int_R p(x')dx'，因此P是概率密度p(x)p(x)取了平滑的版本，所以，我们可以根据概率P来估计密度函数p.假设n个样本x1,x2, ... ,xnx_1, x_2,\ ... \

隐马尔可夫模型标签： 模式分类@author lancelot-vim在一些与时间相关的问题中，我们会遇到t时刻发生的事件受t-1时刻发生事件的直接影响，处理这些问题时，隐马尔可夫模型(hidden markov model, HMM)得到了最好的应用，例如在语音识别或者手势识别领域，隐马尔可夫模型具有一组已经设计好的参数，他们可以最好地解释特定类别中的样本。在使用中，一个测试样本被归类为能产生最大

主成分分析和判别函数标签： 模式分类@author lancelot-vim主成分分析考虑n个d维的样本x1,x2...xnx_1, x_2...x_n ，如何使用一个d维的向量x0x_0，来代表这n个样本，确切说，我们希望这n个样本和它的代表x0x_0之间的距离的和越小越好，特别的，使用欧几里得距离来定义误差函数J0(x0)J_0(x_0):J0(x0)=∑nk=1||x0−xk||2J_0(x_

充分统计量标签： 模式分类@author lancelot-vim定义我们把任何关于样本集DD的函数都称为一个统计量，一个充分统计量就是一个关于样本集DD的函数ss（允许是向量形式的函数)，其中包含了能有助于估计某种参数θ\theta的全部相关信息，就是说我们希望充分统计量的定义能够有这样的约束条件：p(θ|s,D)=p(θ|s)p(\theta|s,D)=p(\theta|s) 举个例子说：对于

线性判别函数和判定面标签: 模式分类线性机不知道你还记不记得前面讲过的判别函数的问题（见概述，贝叶斯策略，最大似然估计） 一个”判别函数”是指由x的各个分量的线性组合而成的函数: g(x)=wTx+w0g(x) = w^Tx + w_0 这里ww是”权向量”，w0w_0被称为”阈值权”或者”偏置”，一般情况下有c个这样的判别函数，分别对应c类中的一类，我们总是选取gig_i取得最大值的那个类型（