第18组 Alpha (1/3)

本周团队学习了高光谱图像分类的基础理论,并着手于Web前端的设计与实现。目前已完成初步UI设计,接下来将重点进行模型设计、训练及前后端的数据交互。

第18组 Alpha (1/3)

Notice

本博客为OUC2022秋季软件工程 第18小组 Alpha(1/3)

Compeleted

  1. 学习了一些基本的高光谱图像分类的基础理论知识。

  2. 完成了项目前端Web的一些基础的UI设计。(罗浩宇)

    https://github.com/VastCosmic/Web_HyperVC/issues/1
    

TODO

  1. 继续完善web前端设计,实现基本功能并美化界面。
  2. 完成模型设计与训练,并完成后端搭建。
  3. 前后端进行连接部署。

Gain & Difficulties

Gain

本周查找学习了一些高光谱图像分类的相关的理论知识,对其现在的一些已有实现方法得到了一些了解。

同时,为了搭建前端,由于平常常使用C#,所以选用了ASP.NET WEB,也属于是边学习边进行开发应用,收获也不小。

Difficulties

目前看来,基本的一些前端后端的实现应该可以在边学习边应用中实现与完成,但是对于如何实现后端与前端进行数据传输与交互仍存在一些疑问,后续将继续寻找可行的解决方案。

Extra

Burn down chart

image-20221119210058985

Photo

个人一个小组,没有例会照片。

# -*-coding:utf-8 -*- import matplotlib.pyplot as plt import numpy as np import random # 随机种子 np.random.seed(1477) random.seed(1477) class optStruct: """ 数据结构,维护所有需要操作的值 Parameters: dataMatIn - 数据矩阵 classLabels - 数据标签 C - 松弛变量 toler - 容错率 kTup - 包含核函数信息的元,第一个参数存放核函数类别,第二个参数存放必要的核函数需要用到的参数 """ def __init__(self, dataMatIn, classLabels, C, toler, kTup): self.X = dataMatIn #数据矩阵 self.labelMat = classLabels #数据标签 self.C = C #松弛变量 self.tol = toler #容错率 self.m = np.shape(dataMatIn)[0] #数据矩阵行数 self.alphas = np.mat(np.zeros((self.m,1))) #根据矩阵行数初始化alpha参数为0 self.b = 0 #初始化b参数为0 self.eCache = np.mat(np.zeros((self.m,2))) #根据矩阵行数初始化虎误差缓存,第一列为是否有效的标志位,第二列为实际的误差E的值。 self.K = np.mat(np.zeros((self.m,self.m))) #初始化核K for i in range(self.m): #计算所有数据的核K self.K[:,i] = kernelTrans(self.X, self.X[i,:], kTup) def kernelTrans(X, A, kTup): """ 通过核函数将数据转换更高维的空间 Parameters: X - 数据矩阵 A - 单个数据的向量 kTup - 包含核函数信息的元 Returns: K - 计算的核K """ m,n = np.shape(X) K = np.mat(np.zeros((m,1))) if kTup[0] == &#39;lin&#39;: K = X * A.T #线性核函数,只进行内积。 elif kTup[0] == &#39;rbf&#39;: #高斯核函数,根据高斯核函数公式进行计算 for j in range(m): deltaRow = X[j,:] - A K[j] = deltaRow*deltaRow.T K = np.exp(K/(-1*kTup[1]**2)) #计算高斯核K else: raise NameError(&#39;核函数无法识别&#39;) return K #返回计算的核K def loadDataSet(fileName): """ 读取数据 Parameters: fileName - 文件名 Returns: dataMat - 数据矩阵 labelMat - 数据标签 """ dataMat = []; labelMat = [] fr = open(fileName) for line in fr.readlines(): #逐行读取,滤除空格等 lineArr = line.strip().split(&#39;\t&#39;) dataMat.append([float(lineArr[0]), float(lineArr[1])]) #添加数据 labelMat.append(float(lineArr[2])) #添加标签 return dataMat,labelMat def calcEk(oS, k): """ 计算误差 Parameters: oS - 数据结构 k - 标号为k的数据 Returns: Ek - 标号为k的数据误差 """ fXk = float(np.multiply(oS.alphas,oS.labelMat).T*oS.K[:,k] + oS.b) Ek = fXk - float(oS.labelMat[k]) return Ek def selectJrand(i, m): """ 函数说明:随机选择alpha_j的索引值 Parameters: i - alpha_i的索引值 m - alpha参数个数 Returns: j - alpha_j的索引值 """ j = i #选择一个不等于i的j while (j == i): j = int(random.uniform(0, m)) return j def selectJ(i, oS, Ei): """ 内循环启发方式2 Parameters: i - 标号为i的数据的索引值 oS - 数据结构 Ei - 标号为i的数据误差 Returns: j, maxK - 标号为j或maxK的数据的索引值 Ej - 标号为j的数据误差 """ maxK = -1; maxDeltaE = 0; Ej = 0 #初始化 oS.eCache[i] = [1,Ei] #根据Ei更新误差缓存 validEcacheList = np.nonzero(oS.eCache[:,0].A)[0] #返回误差不为0的数据的索引值 if (len(validEcacheList)) > 1: #有不为0的误差 for k in validEcacheList: #遍历,找到最大的Ek if k == i: continue #不计算i,浪费时间 Ek = calcEk(oS, k) #计算Ek deltaE = abs(Ei - Ek) #计算|Ei-Ek| if (deltaE > maxDeltaE): #找到maxDeltaE maxK = k; maxDeltaE = deltaE; Ej = Ek return maxK, Ej #返回maxK,Ej else: #没有不为0的误差 j = selectJrand(i, oS.m) #随机选择alpha_j的索引值 Ej = calcEk(oS, j) #计算Ej return j, Ej #j,Ej def updateEk(oS, k): """ 计算Ek,并更新误差缓存 Parameters: oS - 数据结构 k - 标号为k的数据的索引值 Returns: 无 """ Ek = calcEk(oS, k) #计算Ek oS.eCache[k] = [1,Ek] #更新误差缓存 def clipAlpha(aj,H,L): """ 修剪alpha_j Parameters: aj - alpha_j的值 H - alpha上限 L - alpha下限 Returns: aj - 修剪后的alpah_j的值 """ if aj > H: aj = H if L > aj: aj = L return aj def innerL(i, oS): """ 优化的SMO算法 Parameters: i - 标号为i的数据的索引值 oS - 数据结构 Returns: 1 - 有任意一对alpha值发生变化 0 - 没有任意一对alpha值发生变化或变化太小 """ #步骤1:计算误差Ei Ei = calcEk(oS, i) #优化alpha,设定一定的容错率。 if ((oS.labelMat[i] * Ei < -oS.tol) and (oS.alphas[i] < oS.C)) or ((oS.labelMat[i] * Ei > oS.tol) and (oS.alphas[i] > 0)): #使用内循环启发方式2选择alpha_j,并计算Ej j,Ej = selectJ(i, oS, Ei) #保存更新前的aplpha值,使用深拷贝 alphaIold = oS.alphas[i].copy(); alphaJold = oS.alphas[j].copy(); #步骤2:计算上下界L和H if (oS.labelMat[i] != oS.labelMat[j]): L = max(0, oS.alphas[j] - oS.alphas[i]) H = min(oS.C, oS.C + oS.alphas[j] - oS.alphas[i]) else: L = max(0, oS.alphas[j] + oS.alphas[i] - oS.C) H = min(oS.C, oS.alphas[j] + oS.alphas[i]) if L == H: print("L==H") return 0 #步骤3:计算eta eta = 2.0 * oS.K[i,j] - oS.K[i,i] - oS.K[j,j] if eta >= 0: print("eta>=0") return 0 #步骤4:更新alpha_j oS.alphas[j] -= oS.labelMat[j] * (Ei - Ej)/eta #步骤5:修剪alpha_j oS.alphas[j] = clipAlpha(oS.alphas[j],H,L) #更新Ej至误差缓存 updateEk(oS, j) if (abs(oS.alphas[j] - alphaJold) < 0.00001): print("alpha_j变化太小") return 0 #步骤6:更新alpha_i oS.alphas[i] += oS.labelMat[j]*oS.labelMat[i]*(alphaJold - oS.alphas[j]) #更新Ei至误差缓存 updateEk(oS, i) #步骤7:更新b_1和b_2 b1 = oS.b - Ei- oS.labelMat[i]*(oS.alphas[i]-alphaIold)*oS.K[i,i] - oS.labelMat[j]*(oS.alphas[j]-alphaJold)*oS.K[i,j] b2 = oS.b - Ej- oS.labelMat[i]*(oS.alphas[i]-alphaIold)*oS.K[i,j]- oS.labelMat[j]*(oS.alphas[j]-alphaJold)*oS.K[j,j] #步骤8:根据b_1和b_2更新b if (0 < oS.alphas[i]) and (oS.C > oS.alphas[i]): oS.b = b1 elif (0 < oS.alphas[j]) and (oS.C > oS.alphas[j]): oS.b = b2 else: oS.b = (b1 + b2)/2.0 return 1 else: return 0 def smoP(dataMatIn, classLabels, C, toler, maxIter, kTup = (&#39;lin&#39;,0)): """ 完整的线性SMO算法 Parameters: dataMatIn - 数据矩阵 classLabels - 数据标签 C - 松弛变量 toler - 容错率 maxIter - 最大迭代次数 kTup - 包含核函数信息的元 Returns: oS.b - SMO算法计算的b oS.alphas - SMO算法计算的alphas """ oS = optStruct(np.mat(dataMatIn), np.mat(classLabels).transpose(), C, toler, kTup) #初始化数据结构 iter = 0 #初始化当前迭代次数 entireSet = True; alphaPairsChanged = 0 while (iter < maxIter) and ((alphaPairsChanged > 0) or (entireSet)): #遍历整个数据集都alpha也没有更新或者超过最大迭代次数,则退出循环 alphaPairsChanged = 0 if entireSet: #遍历整个数据集 for i in range(oS.m): alphaPairsChanged += innerL(i,oS) #使用优化的SMO算法 print("全样本遍历:第%d次迭代 样本:%d, alpha优化次数:%d" % (iter,i,alphaPairsChanged)) iter += 1 else: #遍历非边界值 nonBoundIs = np.nonzero((oS.alphas.A > 0) * (oS.alphas.A < C))[0] #遍历不在边界0和C的alpha for i in nonBoundIs: alphaPairsChanged += innerL(i,oS) print("非边界遍历:第%d次迭代 样本:%d, alpha优化次数:%d" % (iter,i,alphaPairsChanged)) iter += 1 if entireSet: #遍历一次后改为非边界遍历 entireSet = False elif (alphaPairsChanged == 0): #如果alpha没有更新,计算全样本遍历 entireSet = True print("迭代次数: %d" % iter) return oS.b,oS.alphas #返回SMO算法计算的b和alphas def testRbf(k1 = 1.3): """ 测试函数 Parameters: k1 - 使用高斯核函数的时候表示到达率 Returns: 无 """ dataArr,labelArr = loadDataSet(&#39;./src/step3/testSetRBF.txt&#39;) #加载训练集 b,alphas = smoP(dataArr, labelArr, 200, 0.0001, 100, (&#39;rbf&#39;, k1)) #根据训练集计算b和alphas datMat = np.mat(dataArr); labelMat = np.mat(labelArr).transpose() svInd = np.nonzero(alphas.A > 0)[0] #获得支持向量 sVs = datMat[svInd] labelSV = labelMat[svInd]; print("支持向量个数:%d" % np.shape(sVs)[0]) m,n = np.shape(datMat) errorCount = 0 for i in range(m): kernelEval = kernelTrans(sVs,datMat[i,:],(&#39;rbf&#39;, k1)) #计算各个点的核 predict = kernelEval.T * np.multiply(labelSV,alphas[svInd]) + b #根据支持向量的点,计算超平面,返回预测结果 if np.sign(predict) != np.sign(labelArr[i]): errorCount += 1 #返回数中各元素的正负符号,用1和-1表示,并统计错误个数 print("训练集错误率: %.2f%%" % ((float(errorCount)/m)*100)) #打印错误率 dataArr,labelArr = loadDataSet(&#39;./src/step3/testSetRBF2.txt&#39;) #加载测试集 errorCount = 0 datMat = np.mat(dataArr); labelMat = np.mat(labelArr).transpose() m,n = np.shape(datMat) for i in range(m): kernelEval = kernelTrans(sVs,datMat[i,:],(&#39;rbf&#39;, k1)) #计算各个点的核 predict=kernelEval.T * np.multiply(labelSV,alphas[svInd]) + b #根据支持向量的点,计算超平面,返回预测结果 if np.sign(predict) != np.sign(labelArr[i]): errorCount += 1 #返回数中各元素的正负符号,用1和-1表示,并统计错误个数 print("测试集错误率: %.2f%%" % ((float(errorCount)/m)*100)) #打印错误率 def showDataSet(dataMat, labelMat): """ 数据可视化 Parameters: dataMat - 数据矩阵 labelMat - 数据标签 Returns: 无 """ data_plus = [] #正样本 data_minus = [] #负样本 for i in range(len(dataMat)): if labelMat[i] > 0: data_plus.append(dataMat[i]) else: data_minus.append(dataMat[i]) data_plus_np = np.array(data_plus) #转换为numpy矩阵 data_minus_np = np.array(data_minus) #转换为numpy矩阵 plt.scatter(np.transpose(data_plus_np)[0], np.transpose(data_plus_np)[1]) #正样本散点图 plt.scatter(np.transpose(data_minus_np)[0], np.transpose(data_minus_np)[1]) #负样本散点图 plt.show() if __name__ == &#39;__main__&#39;: ########## #请输入你的测试代码 ##########输入代码,测试加入核函数后SMO算法。使输出结果为全样本遍历:第0次迭代 样本:0, alpha优化次数:1 全样本遍历:第0次迭代 样本:1, alpha优化次数:2 全样本遍历:第0次迭代 样本:2, alpha优化次数:3 全样本遍历:第0次迭代 样本:3, alpha优化次数:4 全样本遍历:第0次迭代 样本:4, alpha优化次数:4 全样本遍历:第0次迭代 样本:5, alpha优化次数:5 alpha_j变化太小 全样本遍历:第0次迭代 样本:6, alpha优化次数:5 全样本遍历:第0次迭代 样本:7, alpha优化次数:5 全样本遍历:第0次迭代 样本:8, alpha优化次数:5 全样本遍历:第0次迭代 样本:9, alpha优化次数:5 全样本遍历:第0次迭代 样本:10, alpha优化次数:6 全样本遍历:第0次迭代 样本:11, alpha优化次数:6 全样本遍历:第0次迭代 样本:12, alpha优化次数:6 全样本遍历:第0次迭代 样本:13, alpha优化次数:7 全样本遍历:第0次迭代 样本:14, alpha优化次数:8 全样本遍历:第0次迭代 样本:15, alpha优化次数:9 alpha_j变化太小 全样本遍历:第0次迭代 样本:16, alpha优化次数:9 全样本遍历:第0次迭代 样本:17, alpha优化次数:9 全样本遍历:第0次迭代 样本:18, alpha优化次数:10 alpha_j变化太小 全样本遍历:第0次迭代 样本:19, alpha优化次数:10 全样本遍历:第0次迭代 样本:20, alpha优化次数:10 L==H 全样本遍历:第0次迭代 样本:21, alpha优化次数:10 全样本遍历:第0次迭代 样本:22, alpha优化次数:10 全样本遍历:第0次迭代 样本:23, alpha优化次数:11 全样本遍历:第0次迭代 样本:24, alpha优化次数:11 全样本遍历:第0次迭代 样本:25, alpha优化次数:11 L==H 全样本遍历:第0次迭代 样本:26, alpha优化次数:11 全样本遍历:第0次迭代 样本:27, alpha优化次数:12 全样本遍历:第0次迭代 样本:28, alpha优化次数:13 alpha_j变化太小 全样本遍历:第0次迭代 样本:29, alpha优化次数:13 全样本遍历:第0次迭代 样本:30, alpha优化次数:14 全样本遍历:第0次迭代 样本:31, alpha优化次数:15 全样本遍历:第0次迭代 样本:32, alpha优化次数:15 全样本遍历:第0次迭代 样本:33, alpha优化次数:15 全样本遍历:第0次迭代 样本:34, alpha优化次数:15 全样本遍历:第0次迭代 样本:35, alpha优化次数:15 alpha_j变化太小 全样本遍历:第0次迭代 样本:36, alpha优化次数:15 全样本遍历:第0次迭代 样本:37, alpha优化次数:15 alpha_j变化太小 全样本遍历:第0次迭代 样本:38, alpha优化次数:15 全样本遍历:第0次迭代 样本:39, alpha优化次数:15 全样本遍历:第0次迭代 样本:40, alpha优化次数:15 全样本遍历:第0次迭代 样本:41, alpha优化次数:16 L==H 全样本遍历:第0次迭代 样本:42, alpha优化次数:16 全样本遍历:第0次迭代 样本:43, alpha优化次数:16 全样本遍历:第0次迭代 样本:44, alpha优化次数:16 全样本遍历:第0次迭代 样本:45, alpha优化次数:17 全样本遍历:第0次迭代 样本:46, alpha优化次数:17 全样本遍历:第0次迭代 样本:47, alpha优化次数:17 全样本遍历:第0次迭代 样本:48, alpha优化次数:18 全样本遍历:第0次迭代 样本:49, alpha优化次数:18 全样本遍历:第0次迭代 样本:50, alpha优化次数:18 全样本遍历:第0次迭代 样本:51, alpha优化次数:18 全样本遍历:第0次迭代 样本:52, alpha优化次数:18 L==H 全样本遍历:第0次迭代 样本:53, alpha优化次数:18 全样本遍历:第0次迭代 样本:54, alpha优化次数:18 全样本遍历:第0次迭代 样本:55, alpha优化次数:18 全样本遍历:第0次迭代 样本:56, alpha优化次数:18 L==H 全样本遍历:第0次迭代 样本:57, alpha优化次数:18 L==H 全样本遍历:第0次迭代 样本:58, alpha优化次数:18 L==H 全样本遍历:第0次迭代 样本:59, alpha优化次数:18 全样本遍历:第0次迭代 样本:60, alpha优化次数:18 全样本遍历:第0次迭代 样本:61, alpha优化次数:18 全样本遍历:第0次迭代 样本:62, alpha优化次数:18 全样本遍历:第0次迭代 样本:63, alpha优化次数:18 全样本遍历:第0次迭代 样本:64, alpha优化次数:18 全样本遍历:第0次迭代 样本:65, alpha优化次数:18 全样本遍历:第0次迭代 样本:66, alpha优化次数:18 全样本遍历:第0次迭代 样本:67, alpha优化次数:18 全样本遍历:第0次迭代 样本:68, alpha优化次数:18 L==H 全样本遍历:第0次迭代 样本:69, alpha优化次数:18 全样本遍历:第0次迭代 样本:70, alpha优化次数:18 全样本遍历:第0次迭代 样本:71, alpha优化次数:18 全样本遍历:第0次迭代 样本:72, alpha优化次数:18 全样本遍历:第0次迭代 样本:73, alpha优化次数:18 全样本遍历:第0次迭代 样本:74, alpha优化次数:19 全样本遍历:第0次迭代 样本:75, alpha优化次数:19 全样本遍历:第0次迭代 样本:76, alpha优化次数:19 全样本遍历:第0次迭代 样本:77, alpha优化次数:19 全样本遍历:第0次迭代 样本:78, alpha优化次数:19 全样本遍历:第0次迭代 样本:79, alpha优化次数:19 全样本遍历:第0次迭代 样本:80, alpha优化次数:20 全样本遍历:第0次迭代 样本:81, alpha优化次数:20 全样本遍历:第0次迭代 样本:82, alpha优化次数:20 全样本遍历:第0次迭代 样本:83, alpha优化次数:20 全样本遍历:第0次迭代 样本:84, alpha优化次数:20 全样本遍历:第0次迭代 样本:85, alpha优化次数:20 全样本遍历:第0次迭代 样本:86, alpha优化次数:20 全样本遍历:第0次迭代 样本:87, alpha优化次数:21 L==H 全样本遍历:第0次迭代 样本:88, alpha优化次数:21 全样本遍历:第0次迭代 样本:89, alpha优化次数:21 全样本遍历:第0次迭代 样本:90, alpha优化次数:21 全样本遍历:第0次迭代 样本:91, alpha优化次数:21 全样本遍历:第0次迭代 样本:92, alpha优化次数:21 L==H 全样本遍历:第0次迭代 样本:93, alpha优化次数:21 全样本遍历:第0次迭代 样本:94, alpha优化次数:21 全样本遍历:第0次迭代 样本:95, alpha优化次数:21 L==H 全样本遍历:第0次迭代 样本:96, alpha优化次数:21 全样本遍历:第0次迭代 样本:97, alpha优化次数:21 全样本遍历:第0次迭代 样本:98, alpha优化次数:21 L==H 全样本遍历:第0次迭代 样本:99, alpha优化次数:21 迭代次数: 1 alpha_j变化太小 非边界遍历:第1次迭代 样本:1, alpha优化次数:0 alpha_j变化太小 非边界遍历:第1次迭代 样本:3, alpha优化次数:0 alpha_j变化太小 非边界遍历:第1次迭代 样本:6, alpha优化次数:0 alpha_j变化太小 非边界遍历:第1次迭代 样本:10, alpha优化次数:0 alpha_j变化太小 非边界遍历:第1次迭代 样本:13, alpha优化次数:0 alpha_j变化太小 非边界遍历:第1次迭代 样本:14, alpha优化次数:0 非边界遍历:第1次迭代 样本:15, alpha优化次数:1 alpha_j变化太小 非边界遍历:第1次迭代 样本:18, alpha优化次数:1 非边界遍历:第1次迭代 样本:21, alpha优化次数:1 非边界遍历:第1次迭代 样本:23, alpha优化次数:2 alpha_j变化太小 非边界遍历:第1次迭代 样本:27, alpha优化次数:2 alpha_j变化太小 非边界遍历:第1次迭代 样本:28, alpha优化次数:2 alpha_j变化太小 非边界遍历:第1次迭代 样本:30, alpha优化次数:2 非边界遍历:第1次迭代 样本:31, alpha优化次数:3 alpha_j变化太小 非边界遍历:第1次迭代 样本:41, alpha优化次数:3 alpha_j变化太小 非边界遍历:第1次迭代 样本:42, alpha优化次数:3 alpha_j变化太小 非边界遍历:第1次迭代 样本:45, alpha优化次数:3 非边界遍历:第1次迭代 样本:48, alpha优化次数:4 非边界遍历:第1次迭代 样本:74, alpha优化次数:5 alpha_j变化太小 非边界遍历:第1次迭代 样本:80, alpha优化次数:5 alpha_j变化太小 非边界遍历:第1次迭代 样本:87, alpha优化次数:5 迭代次数: 2 alpha_j变化太小 非边界遍历:第2次迭代 样本:1, alpha优化次数:0 alpha_j变化太小 非边界遍历:第2次迭代 样本:3, alpha优化次数:0 alpha_j变化太小 非边界遍历:第2次迭代 样本:6, alpha优化次数:0 alpha_j变化太小 非边界遍历:第2次迭代 样本:10, alpha优化次数:0 alpha_j变化太小 非边界遍历:第2次迭代 样本:13, alpha优化次数:0 alpha_j变化太小 非边界遍历:第2次迭代 样本:14, alpha优化次数:0 alpha_j变化太小 非边界遍历:第2次迭代 样本:18, alpha优化次数:0 alpha_j变化太小 非边界遍历:第2次迭代 样本:21, alpha优化次数:0 非边界遍历:第2次迭代 样本:23, alpha优化次数:1 alpha_j变化太小 非边界遍历:第2次迭代 样本:27, alpha优化次数:1 alpha_j变化太小 非边界遍历:第2次迭代 样本:28, alpha优化次数:1 alpha_j变化太小 非边界遍历:第2次迭代 样本:30, alpha优化次数:1 alpha_j变化太小 非边界遍历:第2次迭代 样本:41, alpha优化次数:1 alpha_j变化太小 非边界遍历:第2次迭代 样本:42, alpha优化次数:1 alpha_j变化太小 非边界遍历:第2次迭代 样本:45, alpha优化次数:1 非边界遍历:第2次迭代 样本:74, alpha优化次数:2 alpha_j变化太小 非边界遍历:第2次迭代 样本:80, alpha优化次数:2 非边界遍历:第2次迭代 样本:87, alpha优化次数:2 迭代次数: 3 alpha_j变化太小 非边界遍历:第3次迭代 样本:1, alpha优化次数:0 alpha_j变化太小 非边界遍历:第3次迭代 样本:3, alpha优化次数:0 alpha_j变化太小 非边界遍历:第3次迭代 样本:6, alpha优化次数:0 alpha_j变化太小 非边界遍历:第3次迭代 样本:10, alpha优化次数:0 alpha_j变化太小 非边界遍历:第3次迭代 样本:13, alpha优化次数:0 alpha_j变化太小 非边界遍历:第3次迭代 样本:14, alpha优化次数:0 alpha_j变化太小 非边界遍历:第3次迭代 样本:18, alpha优化次数:0 alpha_j变化太小 非边界遍历:第3次迭代 样本:21, alpha优化次数:0 非边界遍历:第3次迭代 样本:23, alpha优化次数:1 alpha_j变化太小 非边界遍历:第3次迭代 样本:27, alpha优化次数:1 alpha_j变化太小 非边界遍历:第3次迭代 样本:28, alpha优化次数:1 alpha_j变化太小 非边界遍历:第3次迭代 样本:30, alpha优化次数:1 alpha_j变化太小 非边界遍历:第3次迭代 样本:41, alpha优化次数:1 alpha_j变化太小 非边界遍历:第3次迭代 样本:42, alpha优化次数:1 非边界遍历:第3次迭代 样本:45, alpha优化次数:2 alpha_j变化太小 非边界遍历:第3次迭代 样本:74, alpha优化次数:2 alpha_j变化太小 非边界遍历:第3次迭代 样本:80, alpha优化次数:2 非边界遍历:第3次迭代 样本:87, alpha优化次数:2 迭代次数: 4 alpha_j变化太小 非边界遍历:第4次迭代 样本:1, alpha优化次数:0 alpha_j变化太小 非边界遍历:第4次迭代 样本:3, alpha优化次数:0 alpha_j变化太小 非边界遍历:第4次迭代 样本:6, alpha优化次数:0 alpha_j变化太小 非边界遍历:第4次迭代 样本:10, alpha优化次数:0 alpha_j变化太小 非边界遍历:第4次迭代 样本:13, alpha优化次数:0 alpha_j变化太小 非边界遍历:第4次迭代 样本:14, alpha优化次数:0 alpha_j变化太小 非边界遍历:第4次迭代 样本:18, alpha优化次数:0 alpha_j变化太小 非边界遍历:第4次迭代 样本:21, alpha优化次数:0 非边界遍历:第4次迭代 样本:23, alpha优化次数:1 alpha_j变化太小 非边界遍历:第4次迭代 样本:27, alpha优化次数:1 alpha_j变化太小 非边界遍历:第4次迭代 样本:28, alpha优化次数:1 alpha_j变化太小 非边界遍历:第4次迭代 样本:30, alpha优化次数:1 非边界遍历:第4次迭代 样本:41, alpha优化次数:1 alpha_j变化太小 非边界遍历:第4次迭代 样本:42, alpha优化次数:1 非边界遍历:第4次迭代 样本:45, alpha优化次数:2 alpha_j变化太小 非边界遍历:第4次迭代 样本:58, alpha优化次数:2 alpha_j变化太小 非边界遍历:第4次迭代 样本:74, alpha优化次数:2 alpha_j变化太小 非边界遍历:第4次迭代 样本:80, alpha优化次数:2 非边界遍历:第4次迭代 样本:87, alpha优化次数:2 迭代次数: 5 alpha_j变化太小 非边界遍历:第5次迭代 样本:1, alpha优化次数:0 alpha_j变化太小 非边界遍历:第5次迭代 样本:3, alpha优化次数:0 alpha_j变化太小 非边界遍历:第5次迭代 样本:6, alpha优化次数:0 alpha_j变化太小 非边界遍历:第5次迭代 样本:10, alpha优化次数:0 alpha_j变化太小 非边界遍历:第5次迭代 样本:13, alpha优化次数:0 alpha_j变化太小 非边界遍历:第5次迭代 样本:14, alpha优化次数:0 alpha_j变化太小 非边界遍历:第5次迭代 样本:18, alpha优化次数:0 alpha_j变化太小 非边界遍历:第5次迭代 样本:21, alpha优化次数:0 非边界遍历:第5次迭代 样本:23, alpha优化次数:1 alpha_j变化太小 非边界遍历:第5次迭代 样本:27, alpha优化次数:1 alpha_j变化太小 非边界遍历:第5次迭代 样本:28, alpha优化次数:1 alpha_j变化太小 非边界遍历:第5次迭代 样本:30, alpha优化次数:1 alpha_j变化太小 非边界遍历:第5次迭代 样本:41, alpha优化次数:1 非边界遍历:第5次迭代 样本:42, alpha优化次数:1 非边界遍历:第5次迭代 样本:45, alpha优化次数:2 alpha_j变化太小 非边界遍历:第5次迭代 样本:58, alpha优化次数:2 alpha_j变化太小 非边界遍历:第5次迭代 样本:74, alpha优化次数:2 alpha_j变化太小 非边界遍历:第5次迭代 样本:80, alpha优化次数:2 非边界遍历:第5次迭代 样本:87, alpha优化次数:2 迭代次数: 6 alpha_j变化太小 非边界遍历:第6次迭代 样本:1, alpha优化次数:0 alpha_j变化太小 非边界遍历:第6次迭代 样本:3, alpha优化次数:0 alpha_j变化太小 非边界遍历:第6次迭代 样本:6, alpha优化次数:0 alpha_j变化太小 非边界遍历:第6次迭代 样本:10, alpha优化次数:0 alpha_j变化太小 非边界遍历:第6次迭代 样本:13, alpha优化次数:0 alpha_j变化太小 非边界遍历:第6次迭代 样本:14, alpha优化次数:0 alpha_j变化太小 非边界遍历:第6次迭代 样本:18, alpha优化次数:0 alpha_j变化太小 非边界遍历:第6次迭代 样本:21, alpha优化次数:0 alpha_j变化太小 非边界遍历:第6次迭代 样本:23, alpha优化次数:0 alpha_j变化太小 非边界遍历:第6次迭代 样本:27, alpha优化次数:0 alpha_j变化太小 非边界遍历:第6次迭代 样本:28, alpha优化次数:0 非边界遍历:第6次迭代 样本:30, alpha优化次数:1 非边界遍历:第6次迭代 样本:41, alpha优化次数:1 alpha_j变化太小 非边界遍历:第6次迭代 样本:42, alpha优化次数:1 alpha_j变化太小 非边界遍历:第6次迭代 样本:45, alpha优化次数:1 alpha_j变化太小 非边界遍历:第6次迭代 样本:58, alpha优化次数:1 alpha_j变化太小 非边界遍历:第6次迭代 样本:74, alpha优化次数:1 alpha_j变化太小 非边界遍历:第6次迭代 样本:80, alpha优化次数:1 alpha_j变化太小 非边界遍历:第6次迭代 样本:87, alpha优化次数:1 迭代次数: 7 alpha_j变化太小 非边界遍历:第7次迭代 样本:1, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:3, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:6, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:10, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:13, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:14, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:18, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:21, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:23, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:27, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:28, alpha优化次数:0 非边界遍历:第7次迭代 样本:41, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:42, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:45, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:58, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:74, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:80, alpha优化次数:0 alpha_j变化太小 非边界遍历:第7次迭代 样本:87, alpha优化次数:0 迭代次数: 8 全样本遍历:第8次迭代 样本:0, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:1, alpha优化次数:0 全样本遍历:第8次迭代 样本:2, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:3, alpha优化次数:0 全样本遍历:第8次迭代 样本:4, alpha优化次数:0 全样本遍历:第8次迭代 样本:5, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:6, alpha优化次数:0 全样本遍历:第8次迭代 样本:7, alpha优化次数:0 全样本遍历:第8次迭代 样本:8, alpha优化次数:0 全样本遍历:第8次迭代 样本:9, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:10, alpha优化次数:0 全样本遍历:第8次迭代 样本:11, alpha优化次数:0 全样本遍历:第8次迭代 样本:12, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:13, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:14, alpha优化次数:0 全样本遍历:第8次迭代 样本:15, alpha优化次数:0 全样本遍历:第8次迭代 样本:16, alpha优化次数:0 全样本遍历:第8次迭代 样本:17, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:18, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:19, alpha优化次数:0 全样本遍历:第8次迭代 样本:20, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:21, alpha优化次数:0 全样本遍历:第8次迭代 样本:22, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:23, alpha优化次数:0 全样本遍历:第8次迭代 样本:24, alpha优化次数:0 全样本遍历:第8次迭代 样本:25, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:26, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:27, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:28, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:29, alpha优化次数:0 全样本遍历:第8次迭代 样本:30, alpha优化次数:0 全样本遍历:第8次迭代 样本:31, alpha优化次数:0 全样本遍历:第8次迭代 样本:32, alpha优化次数:0 全样本遍历:第8次迭代 样本:33, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:34, alpha优化次数:0 全样本遍历:第8次迭代 样本:35, alpha优化次数:0 全样本遍历:第8次迭代 样本:36, alpha优化次数:0 全样本遍历:第8次迭代 样本:37, alpha优化次数:0 全样本遍历:第8次迭代 样本:38, alpha优化次数:0 全样本遍历:第8次迭代 样本:39, alpha优化次数:0 全样本遍历:第8次迭代 样本:40, alpha优化次数:0 全样本遍历:第8次迭代 样本:41, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:42, alpha优化次数:0 全样本遍历:第8次迭代 样本:43, alpha优化次数:0 全样本遍历:第8次迭代 样本:44, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:45, alpha优化次数:0 全样本遍历:第8次迭代 样本:46, alpha优化次数:0 全样本遍历:第8次迭代 样本:47, alpha优化次数:0 全样本遍历:第8次迭代 样本:48, alpha优化次数:0 全样本遍历:第8次迭代 样本:49, alpha优化次数:0 全样本遍历:第8次迭代 样本:50, alpha优化次数:0 全样本遍历:第8次迭代 样本:51, alpha优化次数:0 全样本遍历:第8次迭代 样本:52, alpha优化次数:0 全样本遍历:第8次迭代 样本:53, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:54, alpha优化次数:0 全样本遍历:第8次迭代 样本:55, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:56, alpha优化次数:0 全样本遍历:第8次迭代 样本:57, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:58, alpha优化次数:0 全样本遍历:第8次迭代 样本:59, alpha优化次数:0 全样本遍历:第8次迭代 样本:60, alpha优化次数:0 全样本遍历:第8次迭代 样本:61, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:62, alpha优化次数:0 全样本遍历:第8次迭代 样本:63, alpha优化次数:0 全样本遍历:第8次迭代 样本:64, alpha优化次数:0 全样本遍历:第8次迭代 样本:65, alpha优化次数:0 全样本遍历:第8次迭代 样本:66, alpha优化次数:0 全样本遍历:第8次迭代 样本:67, alpha优化次数:0 全样本遍历:第8次迭代 样本:68, alpha优化次数:0 全样本遍历:第8次迭代 样本:69, alpha优化次数:0 全样本遍历:第8次迭代 样本:70, alpha优化次数:0 全样本遍历:第8次迭代 样本:71, alpha优化次数:0 全样本遍历:第8次迭代 样本:72, alpha优化次数:0 全样本遍历:第8次迭代 样本:73, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:74, alpha优化次数:0 全样本遍历:第8次迭代 样本:75, alpha优化次数:0 L==H 全样本遍历:第8次迭代 样本:76, alpha优化次数:0 全样本遍历:第8次迭代 样本:77, alpha优化次数:0 全样本遍历:第8次迭代 样本:78, alpha优化次数:0 全样本遍历:第8次迭代 样本:79, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:80, alpha优化次数:0 全样本遍历:第8次迭代 样本:81, alpha优化次数:0 全样本遍历:第8次迭代 样本:82, alpha优化次数:0 全样本遍历:第8次迭代 样本:83, alpha优化次数:0 全样本遍历:第8次迭代 样本:84, alpha优化次数:0 全样本遍历:第8次迭代 样本:85, alpha优化次数:0 全样本遍历:第8次迭代 样本:86, alpha优化次数:0 alpha_j变化太小 全样本遍历:第8次迭代 样本:87, alpha优化次数:0 全样本遍历:第8次迭代 样本:88, alpha优化次数:0 全样本遍历:第8次迭代 样本:89, alpha优化次数:0 全样本遍历:第8次迭代 样本:90, alpha优化次数:0 全样本遍历:第8次迭代 样本:91, alpha优化次数:0 全样本遍历:第8次迭代 样本:92, alpha优化次数:0 全样本遍历:第8次迭代 样本:93, alpha优化次数:0 全样本遍历:第8次迭代 样本:94, alpha优化次数:0 全样本遍历:第8次迭代 样本:95, alpha优化次数:0 全样本遍历:第8次迭代 样本:96, alpha优化次数:0 全样本遍历:第8次迭代 样本:97, alpha优化次数:0 全样本遍历:第8次迭代 样本:98, alpha优化次数:0 全样本遍历:第8次迭代 样本:99, alpha优化次数:0 迭代次数: 9 支持向量个数:18 训练集错误率: 0.00% 测试集错误率: 5.00%
05-14
<think>嗯,用户想了解SMO算法使用高斯核函数后的迭代过程、支持向量个数以及训练集和测试集的错误率。首先,我需要回顾SMO算法和高斯核的基本概念,然后思考如何将这些结合起来分析。 首先,SMO算法是用于训练支持向量机的高效方法,通过分解大问题为小问题来处理。加入核函数,特别是高斯核,会让数据映射到高维空间,从而处理非线性可分的情况。高斯核的参数σ会影响模型的复杂度,σ过小可能导致过拟合,过大可能欠拟合。 接下来,迭代过程方面,SMO每次选两个拉格朗日乘子进行优化。使用高斯核后,计算核矩阵会更耗时,因为每个样本间的距离都需要计算。每次迭代中,需要更新误差缓存,并重新计算两个乘子的最优解。这时候,核函数的计算量可能会影响迭代次数,因为每次内积计算被替换为核函数,计算复杂度增加,可能导致收敛所需的迭代次数变化。 支持向量的个数通常与惩罚参数C和核参数有关。高斯核的σ小的话,模型可能更复杂,支持向量可能更多;而较大的σ会让模型更平滑,支持向量减少。但需要具体实验数据来验证这一点。同时,惩罚参数C的大小也会影响支持向量数量,C大时对误分类的惩罚大,可能支持向量更多。 错误率方面,训练集错误率低可能意味着过拟合,测试集错误率高则可能模型泛化能力差。需要调整C和σ来平衡。比如,使用交叉验证选择最佳参数,观察训练和测试错误率的变化。此外,错误率还和数据集的分布、噪声有关,可能需要多次实验取平均值。 另外,用户提到了引用中的内容,特别是核技巧和Gram矩阵。高斯核的有效性需要Gram矩阵半正定,这一点通常高斯核满足。在实现时,计算Gram矩阵可能会成为瓶颈,尤其是大数据集下,内存和计算时间都需要考虑。 可能的实现步骤:先准备数据集,比如使用合成数据或标准数据集(如Iris、MNIST)。实现SMO算法,加入高斯核的计算部分。在每次迭代中,记录乘子的变化情况,统计支持向量数目。训练完成后,用训练好的模型在训练集和测试集上计算错误率。可能需要多次调整参数,观察结果变化。 用户可能需要具体的代码示例,但根据问题描述,用户更关注分析结果而非代码。不过提供伪代码或关键步骤说明可能有帮助。此外,需要注意核函数参数对结果的影响,比如σ和C的选择,如何通过网格搜索寻找最优参数合。 最后,错误率分析时,需要确保数据集的划分方式,比如留出法或交叉验证,以避免偏差。同时,支持向量的个数也可以反映模型的复杂度,结合错误率可以判断模型是否过拟合或欠拟合。</think>### SMO算法使用高斯核函数的分析步骤 #### 一、高斯核函数的数学表达 $$K(x_i,x_j) = \exp\left(-\frac{\|x_i - x_j\|^2}{2\sigma^2}\right)$$ 其中$\sigma$控制数据映射到高维空间的分布特性[^4] #### 二、迭代过程特征 1. **核矩阵预计算**:训练前需构建$m×m$的Gram矩阵,存储所有样本对的高斯核计算结果[^4] $$G_{ij} = K(x_i,x_j)$$ 2. **双变量优化**:每次迭代选取违反KKT条件最严重的$\alpha_i,\alpha_j$进行优化 ```python # 伪代码示例 while iterations < max_iter: i = select_violating_alpha() j = select_second_alpha(i) eta = 2*K(i,j) - K(i,i) - K(j,j) # 二阶导数 if eta >= 0: continue alpha_j_new = alpha_j_old - y_j*(E_i - E_j)/eta # E为预测误差 alpha_j_new = clip(alpha_j_new, L, H) # 边界约束 update_alpha_pair() update_error_cache() ``` 3. **误差计算变化**:预测误差$E_i = f(x_i) - y_i$的计算需通过核展开 $$f(x) = \sum_{k=1}^m \alpha_k y_k K(x_k,x) + b$$[^2] #### 三、支持向量分析 | 参数合 | 支持向量数占比 | 决策边界特性 | |---------|---------------|-------------| | 小σ + 大C | 40%-60% | 高度非线性 | | 大σ + 小C | 10%-30% | 平滑边界 | | 中等参数 | 20%-40% | 平衡状态 | **形成机制**:支持向量对应$\alpha_i > 0$的样本,高斯核通过局部相似性度量决定支持向量的辐射范围[^3] #### 四、错误率分析框架 1. **参数敏感性实验**: ```python for σ in [0.1, 1, 10]: for C in [0.1, 1, 10]: train_svm_with_cross_validation() record_error_rates() ``` 2. **典型结果模式**: - **训练错误率**:随σ减小而降低(可能趋近0%) - **测试错误率**:呈现U型曲线,存在最优σ值 - **过拟合标识**:训练错误率<<测试错误率(差距>15%) 3. **误差分解公式**: $$E_{test} = E_{bias} + E_{variance} + E_{noise}$$ 高斯核主要影响方差项$E_{variance}$,σ越小方差项越大 #### 五、性能优化建议 1. **核缓存策略**:对频繁访问的核计算结果进行缓存 2. **自适应σ调整**:在迭代过程中动态收缩核宽度 $$\sigma_t = \sigma_0/\sqrt{1 + \gamma t}$$[^4] 3. **错误率监控**:实时跟踪验证集错误率,实现早停
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值