George_Dong的博客

文章目录SVM原理对偶问题凸优化问题求解方式SVM原理在样本空间，划分超平面通过如下方程描述：wTx+b=0 w^Tx+b = 0wTx+b=0其中，w=(w1;w2;…;wd)w=(w_1;w_2;\ldots;w_d)w=(w1​;w2​;…;wd​)为法向量，决定超平面的方向；bbb为位移项，决定了超平面与原点之间的距离。显然，划分超平面可以通过法向量w和位移b法向量w 和位移 b法...

预定义画图程序#To support both python 2 and python 3from __future__ import division, print_function, unicode_literals#Common importsimport numpy as npimport os#to make this notebook's output stable a...

文章目录SVM进阶核函数核函数定理SVM进阶核函数在推导SVM公式时，我们假设训练样本是线性可分的，即存在一个划分超平面能将训练样本正确分类。然而在实际应用中，原始样本空间也许并不存在一个能正确划分样本类的超平面。例如，“异或”问题就不是线性可分的。对这样的问题，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。令ϕ(x)\phi(x)ϕ(x)表示将xxx映...

贝叶斯决策论贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。假设有NNN种可能的类别标记，即Y={c1,c2,…,cN},λij\mathcal{Y}=\{c_1, c_2,\dots,c_N\},\lambda_{ij}Y={c1​,c2​,…,cN​},λij​是将一个真实标记为c...

SVM不同核函数比较print(__doc__)import osimport numpy as npimport matplotlib.pyplot as pltfrom sklearn import svm, datasetsdef make_meshgrid(x, y, h=.02): """ create a mesh of points to plot in...

经验误差与过拟合经验误差“错误率”（error rate）E=a/mE = a/mE=a/m“精度”（accruacy）Accuracy=1−a/mAccuracy = 1-a/mAccuracy=1−a/mm:样本数；a:样本分类错误数m:样本数；a:样本分类错误数m:样本数；a:样本分类错误数更一般的，我们把学习器的实际预测输出与样本的真实输出之间的差异称为“误差”（error）...