代码注释：机器学习实战第6章支持向量机

最新推荐文章于 2023-05-30 02:09:17 发布

原创

最新推荐文章于 2023-05-30 02:09:17 发布 · 2.7k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #注释

本文是对《机器学习实战》一书中关于支持向量机章节的代码进行注释，旨在帮助初学者理解书中未注释的代码。内容涵盖了SMO优化算法、Platt SMO算法的应用以及在复杂数据上的核函数使用，并通过手写识别问题回顾来实践这些理论。

写在开头的话：在学习《机器学习实战》的过程中发现书中很多代码并没有注释，这对新入门的同学是一个挑战，特此贴出我对代码做出的注释，仅供参考，欢迎指正。

1、SMO高效优化算法

#coding:gbk
from numpy import *

#功能：导入数据集
#输入：文件名
#输出：数据矩阵，标签向量
def loadDataSet(fileName):
    dataMat = []#数据矩阵
    labelMat = []#标签向量
    fr = open(fileName)
    for line in fr.readlines():
        lineArr = line.strip().split('\t')#strip()表示删除空白符，split()表示分割
        dataMat.append([float(lineArr[0]), float(lineArr[1])])#1.0表示x0
        labelMat.append(float(lineArr[2]))
    return dataMat, labelMat

#功能：在(0, m)的区间范围内随机选择一个除i以外的整数
#输入：不能选择的整数i，区间上界m
#输出：随机选择的整数
def selectJrand(i, m):
    j = i
    while (j == i):
        j = int (random.uniform(0, m))
    return j

#功能：保证aj在区间[L, H]里面
#输入：要调整的数aj，区间上界H，区间下界L
#输出：调整好的数aj
def clipAlpha(aj, H, L):
    if aj > H:#aj大于H
        aj = H
    if L > aj:#aj小于L
        aj = L
    return aj

#功能：简化版SMO算法
#输入：数据矩阵dataMatIn，标签向量classLabels，常数C，容错率toler，最大迭代次数maxIter
#输出：超平面位移项b，拉格朗日乘子alpha
def smoSimple(dataMatIn, classLabels, C, toler, maxIter):
    dataMatrix = mat(dataMatIn)
    labelMat = mat(classLabels).transpose()
    b = 0
    m, n = shape(dataMatrix)#数据矩阵行数和列数，表示训练样本个数和特征值个数
    alphas = mat(zeros((m, 1)))#m*1阶矩阵
    iter = 0
    while (iter < maxIter):#循环直到超出最大迭代次数
        alphaPairsChanged = 0
        for i in range(m):
            #主窗口输入numpy.info(numpy.multiply)
            #推导见《机器学习》（周志华）公式6.12
            fXi = float(multiply(alphas, labelMat).T * \
                        (dataMatrix * dataMatrix[i, :].T)) + b
            Ei = fXi - float(labelMat[i])#误差
            #误差很大，可以对该数据实例所对应的alpha值进行优化
            if ((labelMat[i] * Ei < -toler) and (alphas[i] < C)) or \
                    ((labelMat[i] * Ei > toler) and (alphas[i] > 0)):
                #在(0, m)的区间范围内随机选择一个除i以外的整数，即随机选择第二个alpha
                j = selectJrand(i, m)
                #求变量alphaJ对应的误差
                fXj = float(multiply(alphas, labelMat).T * (dataMatrix * dataMatrix[j, :].T)) + b
                Ej = fXj - float(labelMat[j])
                #不能直接 alphaIold = alphas[i]，否则alphas[i]和alphaIold指向的都是同一内存空间
                alphaIold = alphas[i].copy()
                alphaJold = alphas[j].copy()
                #接下来需要看Plata的论文，待以后看论文后再重读此章
                if (labelMat[i] != labelMat[j]):
                    L = max(0, alphas[j] - alphas[i])
                    H = min(C, C + alphas[j] - alphas[i])
                else:
                    L = max(0, alphas[j] + alphas[i] - C)
                    H = min(C, alphas[j] + alphas[i])
                if L == H:
                    print "L =