支持向量机

支持向量机

支持向量：与分离超平面距离最近的样本点的实例

svm优缺点

优点：泛化错误率低，计算开销不大，结果易解释
缺点：对参数调节和核函数选择敏感，原始分类器不加修改仅适用于处理二分类问题
适合数据类型：数值型和标称型数据

SMO算法的工作原理：

每次循环中选择两个alpha进行优化处理。一旦找到一对合适的alpha，那么久增大其中一个同时减小另一个。这里所谓的”合适”就是指两个alpha必须要符合一定的条件，条件之一就是这两个alpha必须要在间隔边界之外，而其第二个条件则是这两个alpha 还没有进行过区间化处理或者不在边界上

SMO伪代码

创建一个alpha向量并将其初始化为0向量
当迭代次数小于最大迭代次数时(外循环)
对数据集中的每个数据向量(内循环)
如果该数据向量可以被优化
随机选择另外一个数据向量
同时优化这两个向量
如果两个向量都不能被优化，退出内循环
如果所有向量都没有被优化，增加迭代次数，继续下一次循环

除了下述代码外，也可下载直接libsvm使用

采用LibSVM软件流程：

1. 按照LIBSVM软件包所要求的格式准备数据 label [index1]:[value1] [index2]:[value2],…
   如2.3 1：5.6 2：3.2
   label=2.3 有2维，第一维是5.6 第二维是 3。2
2. 对数据进行简单的缩放操作，即数据归一化
3. 首选RBF核函数
4. 采用交叉验证选择最佳参数c和g
5. 选择参数后，对整个训练数据集进行训练，并获取svm模型
6. 利用获取的模型进行测试
   ##LibSVM使用说明
7. 先将数据按照value1,value2,value3,…,label存放，然后粘到FormatDataLibSVM.xls中，工具->宏->执行，选择FormatDataToLibSVM宏就可以得到满足LibSVM格式的数据
8. svm-scale.exe将数据进行缩放到适当范围，使得训练和测试速度加快
9. svm-train.exe 训练data，生成model
10. 核函数

 - 线性核
 1.多项式核
 2.RBF核(高斯核，径向基核函数)
 3.sigmoid核
 4.precomputed.kernel 自定义核函数

options (选择分类还是回归，选择前面相应的

0-c-svc 多类
1-n-svc 多类
2-one-class-svm 单类
3-e-svr 回归
4-n-svr 回归

• -g设置核函数中的g，默认为$\frac{1}{k}$
• -k是输入数据中的属性个数
• -v 交叉验证，随机将数据划分为n部分(n折交叉)，并计算交叉验证和均方根误差
• -h shrinking 是否使用启发式 默认为1，可取值为0或者1
• -p e 设置n-svr的损失函数e，默认为0.1
• -c cost 设置 c-svc,one-class- svm 与n-svr 惩罚系数，c默认为1

SVM（smo）代码展示,非libsvm：

# coding=utf-8
# __author__=Eshter Yuu
#无需言，做自己


import numpy as np

def loadDataSet(filename):
    dataMat = []; labelMat =[]
    fr =open(filename)
    for line in fr.readlines():
        lineArr = line.strip().split('\t')
        dataMat.append([float(lineArr[0]),float(lineArr[1])])
        labelMat.append(float(lineArr[2]))
    return dataMat, labelMat

##i是alpha的下标，m是所有alpha的数目
#找到一个不同下标i的下标
def selectJrand(i,m):
    j =i
    while(j==i):
        j = int(np.random.uniform(0,m))
    return j

#调整大于H或者小于L的alpha值
def clipAlpha(aj,H,L):
    if aj > H:
        aj = H
    if L > aj:
        aj =L
    return aj






##简化版的SMO算法
def smoSimple(dataMat, classLabels, C, toler, maxIter):
    dataMatrix = np.mat(dataMat); labelMat = np.mat(classLabels).transpose()
    b =0;
    m,n = np.shape(dataMatrix)
    print(m,n)
    alphas = np.mat(np.zeros((m,1)))
    iter = 0
    while(iter < maxIter):
        alphaParisChanged =0
        for i in range(m):#第二层内循环
            fXi = float(np.multiply(alphas,labelMat).T* (dataMatrix*dataMatrix[i,:].T))+b
            Ei = fXi -float(labelMat[i])
            if ((labelMat[i] * Ei < - toler) and (alphas[i] < C))or ((labelMat[i] * Ei> toler ) and (alphas[i] > 0)):
                j = selectJrand(i,m)
                fXj = float(np.multiply(alphas, labelMat).T * (dataMatrix *dataMatrix[j,:].T)) +b
                Ej =fXj -float(labelMat[j])
                alphaIold = alphas[i].copy()
                alphaJold = alphas[j].copy()
                if (labelMat[i] != labelMat[j]):
                    L = max(0, alphas[j] -alphas[i] )
                    H = min(C, C + alphas[j]-alphas[i])
                else:
                    L = max(0, alphas[j] +alphas[i] -C)
                    H= min(C, alphas[j]+alphas[i])
                if L ==H:
                    print('L==H')
                    continue
                eta =2.0* dataMatrix[i,:] * dataMatrix[j,:].T - dataMatrix[i,:] *dataMatrix[i,:].T -dataMatrix[j,:] *dataMatrix[j,:].T
                if eta >= 0:
                    print("eta >=0")
                    continue
                alphas[j] -= labelMat[j]*(Ei-Ej)/eta
                alphas[j] = clipAlpha(alphas[j], H,L)
                if (abs(alphas[j] -alphaJold) < 0.00001):
                    print("j not muving enough")
                    continue
                alphas[i] += labelMat[j] * labelMat[i]*(alphaJold -alphas[j])
                b1 = b- Ei - labelMat[i] *(alphas[i] - alphaIold)* dataMatrix[i,:] *dataMatrix[i,:].T - \
                    labelMat[j] *(alphas[j] - alphaJold)*dataMatrix[i,:] *dataMatrix[j,:].T
                b2 = b-Ej- labelMat[i]*(alphas[i] -alphaIold) * dataMatrix[i,:]*dataMatrix[j,:].T -\
                    labelMat[j] *(alphas[j] -alphaJold)* dataMatrix[j,:] *dataMatrix[j,:].T
                if (0< alphas[i]) and(C > alphas[i]):b =b1
                elif (0< alphas[j]) and(C> alphas[j]):b= b2
                else: b=(b1+b2)/2.0
                alphaParisChanged +=1
                print("iter: %d i: %d, paris changed %d"%(iter, i, alphaParisChanged))
        if alphaParisChanged ==0 : iter +=1
        else: iter = 0
        print("iteration number:%d"% iter)
    return b,alphas





dataArr ,labelArr = loadDataSet('testSet.txt')
m,n = np.shape(np.mat(labelArr).transpose())
print(m,n)
b, alphas =smoSimple(dataArr,labelArr,0.6, 0.001, 40)
print('b=',b, '\n', 'alphas>0',alphas[alphas>0])