TRIE图之躲不开的病毒，三种实现方法

特征选择和提取一、why二、特征选择1、含义2、选取准则三、特征提取1、含义2、K-L变换2.1离散形式的K-L变换2.2正交向量集的确定2.3K-L展开式系数的计算步骤2.4基于K-L变换的特征提取2.5总结一、why1、特征选择和提取是模式识别中的一个关键问题，特征的选择强烈影响分类器的设计及其性能。2、在很多实际问题中，往往不容易找到那些最重要的特征，或受客观条件的限制，不能对它们进行有效的测量；因此在测量时，由于人们心理上的作用，只要条件许可总希望把特征取得多一些；另外，由于客观上的需要，为了

SVM一、SVM1、数据2、思想3、模型4、策略4.1有约束转化为无约束4.2对偶4.3求对偶问题5、算法二、soft SVM三、核方法四、核SVM五、SMO一、SVMSVM可概括为：间隔、对偶、核方法。1、数据Data={(x1,y1),(x2,y2),...(xN,yN)}Data=\{(x_1,y_1),(x_2,y_2),...(x_N,y_N)\}Data={(x1​,y1​),(x2​,y2​),...(xN​,yN​)}，两分类问题。2、思想最大间隔分类器：可能有多个分类器，寻找使

线性分类一、总体框架1、机器学习分类2、线性回归3、线性回归 VS 线性分类二、感知机三、Fisher线性判别四、logostic回归五、高斯判别模型六、朴素贝叶斯判别一、总体框架1、机器学习分类机器学习可以分为：（1）、频率派：统计机器学习。（2）、贝叶斯派：概率图模型。2、线性回归线性回归的特点：（1)、线性，其他：⇒\Rightarrow⇒属性非线性：特征转换（例如：多项式回归）⇒\Rightarrow⇒全局非线性（全局线性：直接根据判别函数的值进行分类）：线性分类（例如激活函数）

线性回归——最小二乘法

数学基础-——高斯分布一、极大似然估计1、极大似然估计2、有偏VS无偏二、从概率密度角度看高分布三、求边缘概率和条件概率一、极大似然估计1、极大似然估计数据：x1,x2,x3,...,xNx_1,x_2,x_3,...,x_Nx1​,x2​,x3​,...,xN​，xix_ixi​为n维数据，即xi=(xi1,xi2,xi3,...,xin)x_i=(x_{i1},x_{i2},x_{i3},...,x_{in})xi​=(xi1​,xi2​,xi3​,...,xin​)，且数据 iid，都服从N(μ