CS231n-线性SVM分类Cifar10

最新推荐文章于 2022-08-21 17:30:00 发布
原创 最新推荐文章于 2022-08-21 17:30:00 发布 · 3.8k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#svm #机器学习 #python

本文详细介绍了如何使用线性SVM对CIFAR10数据集进行分类。从目标函数、代价函数（包含正则项和折叶损失）、梯度计算到模型的训练和预测函数，逐一深入讲解。最后通过自动化确定超参数并训练模型，得到测试集准确率约为37%。

线性分类器其实我已经接触不少了，不同于KNN，它涉及到了更多的知识，比如cost function, objective function等，svm涉及到的知识确实比较多且难理解，但当我们得到相应公式后其实实现起来并不算繁琐，相反很容易理解

线性SVM

目标函数

目标函数我们在以前的线性回归，逻辑回归中都见到过

目标函数

代价函数

SVM的代价函数想要SVM在正确分类上的得分始终比不正确分类上的得分高出一个边界值delta, 所以它的代价函数如下：

代价函数

即在确定正确分类的分数（scores[y[i]]）后，其他分类上的分数都要减去它并且加上一个边界值 ( scores[y[!i] - screos[y[i]] + delta )，当得到的值小于0时则代表正确分类比不正确分类高出了一个边界值，否则则要计算损失值。 比如，假设有3个分类，并且得到了分值[13, -7, 11], 第一个分类为正确分类，delta为10，那么根据代价函数，我们可以得到以下算式

计算公式

以上代价函数计算公式称为折叶损失（hinge loss），当然除此之外还有平方折叶损失SVM（即L2-SVM），就是加个平方，我们可以通过交叉验证或者验证集来确定到底选用哪个

正则项

在ML中，过拟合问题一直是影响模型准确率的重大因素，所以我们还要加上L2范式正则项（在这里，正则项还确保了SVM有最大边界（max margin）等好处），所以最终我们得到以下整个代价函数公式

完整代价函数

梯度计算

在训练过程中，我们需要通过最优化方法来是代价函数的损失值达到尽可能的小，所以我们对代价函数进行微分，然后计算其偏导数，得到以下公式

对于每一个训练样本，我们计算它在每个分类上的得分，每当它在某一分类产生了损失（即scores[y[!i] - screos[y[i]] + delta > 0），那么我们就将该分类上的参数梯度+Xi

错误分类的参数梯度计算

同时正确分类（y[i]）的参数梯度-Xi

正确分类的参数梯度计算

再简单的说就是，对于每个Xi，每一个会产生损失值的分类（scores[y[!i] - screos[y[i]] + delta > 0）都会将其参数梯度+Xi，同时在正确分类（y[i]）上的梯度-Xi

将以上的公式转化成代码，用非向量化实现（更容易理解）如下

def svm_loss_naive(W, X, y, reg):
  """
  Structured SVM loss
最低0.47元/天 解锁文章
基于SVM算法的CIFAR-10图像分类matlab仿真
2301_79331387的博客
08-10 554
训练过程分为两个步骤。本文介绍了如何使用SVM算法对CIFAR-10数据集进行图像分类，并提供了相应的matlab代码。然而，对于更大的图像数据集，由于SVM需要存储所有支持向量，所以会受到内存限制的限制。CIFAR-10数据集是一个广泛使用的图像分类基准数据集，其中包含60000张32x32像素彩色图像，共分为十个类别。为了减少噪声和增加模型的鲁棒性，我们还需要对数据进行归一化处理，使其均值为0，并将方差缩放到1。最后，我们使用训练好的svm模型对测试集进行分类，并计算分类准确率作为性能评估指标。
基于SVM的思想做CIFAR-10图像分类
绿箭侠
08-13 1196
SVM 回顾一下之前的SVM，找到一个间隔最大的函数，使得正负样本离该函数是最远的，是否最远不是看哪个点离函数最远，而是找到一个离函数最近的点看他是不是和该分割函数离的最近的。 使用large margin来regularization。 之前讲SVM的算法：https://www.jianshu.com/p/8fd28df734a0 线性分类...
基于线性SVM的CIFAR-10图像集分类
weixin_34301132的博客
06-12 1586
红色石头的个人网站：redstonewill.com 之前我用了六篇文章来详细介绍了支持向量机SVM的算法理论和模型，链接如下： 1. 线性支持向量机LSVM 2. 对偶支持向量机DSVM 3. 核支持向量机KSVM 4. 软间隔支持向量机 5. 核逻辑回归KLR 6. 支持向量回归SVR 实际上，支持向量机SVM确实是机器学习中一个非常重要也是非常复杂的模型。关于SVM的详细理论和推导，本文...
计算机视觉（五）：使用SVM分类Cifar-10数据集
HHH_ANS的博客
01-08 7040
1 - 引言 之前我们使用了K-NN对Cifar-10数据集进行了图片分类，正确率只有不到30%，但是还是比10%高的[手动滑稽]，这次我们将学习使用SVM分类器来对Cafi-10数据集实现分类，但是正确率应该也不会很高 要想继续提高正确率，就要对图像进行预处理和特征的选取工作，而不是用整张图片进行识别。从计算机视觉发展的角度来将，在深度学习出来之前，传统的图像识别方法一直都是使用特征选取+分类器...
基于SVM的cifar10分类
hello world
06-04 8676
备注：阅读博客后的笔记，代码来自他人博客。 1.基于线性SVM的cifar10图像分类 博客为：svm实现图片分类（python）博客对应的代码仓库：https://github.com/452896915/cs231n_course_homework 1.1 cifar10数据集的构成：http://www.cs.toronto.edu/~kriz/cifar.html 数据集训练集有5个batch：每个batch为10k数据。测试集有一个batch，10k数据。带有标签。分类的图像...
CS231n-assignment1-SVM和SoftMax
Esaka
07-11 1077
In[1]: import random import numpy as np from cs231n.data_utils import load_CIFAR10 import matplotlib.pyplot as plt from __future__ import print_function #%matplotlib inline # %matplotlib inline 可以在Ipython编译器里直接使用，功能是可以内嵌绘图，并且可以省略掉plt.show()这一步。 # figsize设
cs231n-Assignment-1 python.
12-06
【标题】"cs231n-Assignment-1 python." 是斯坦福大学计算机视觉课程CS231n的作业一，使用Python3.6语言编写。这个作业涉及到的基础知识点主要涵盖了机器学习，特别是监督学习中的分类算法，如K近邻（KNN）、支持...
CS231n计算机视觉作业1-Q2-svm
roymustang的博客
02-15 2215
[toc] 支持向量机练习 完成一个基于SVM的全向量化损失函数 完成解析梯度的全向量化表示 用数值梯度来验证你的实现 使用一个验证集去调优学习率和正则化强度 运用随机梯度下降去优化损失函数 可视化最后的学习得到的权重 ...
python svm算法 cifar_基于SVM的思想做CIFAR-10图像分类
weixin_26717737的博客
02-03 1086
SVM回顾一下之前的SVM，找到一个间隔最大的函数，使得正负样本离该函数是最远的，是否最远不是看哪个点离函数最远，而是找到一个离函数最近的点看他是不是和该分割函数离的最近的。使用large margin来regularization。线性分类线性SVM就是一种线性分类的方法。输入，输出，每一个样本的权重是，偏置项bias是。得分函数算出这么多个类别，哪一个类别的分数高，那就是哪个类别。比如要做的图...
线性SVM分类器 实现信号/图片分类
11-18
提出了基于SVM一种概念上简单但令人惊讶的强大方法，该方法将判别目标检测器的有效性与最近邻居方法提供的显式对应相结合。该方法基于为训练集中的每个示例训练单独的线性SVM分类器。因此，这些示例SVM中的每一个都由一个正实例和数百万个负定义。尽管每个检测器对其示例都非常特定，但我们从经验上观察到，这样的示例-SVM的集成提供了令人惊讶的良好通用性。我们在PASCAL VOC检测任务上的性能与Felzenszwalb等人的基于复杂潜在零件的模型相比要复杂得多，只增加了适度的计算成本。但是我们方法的主要好处是，它在每次检测与单个训练样本之间建立了明确的关联。由于大多数检测都显示出与其相关样本的良好对齐，因此可以将任何可用的样本元数据（细分，几何结构，3D模型等）直接传输到检测上，然后可以将其用作整体场景理解的一部分。
python用svm实现数据分类_python实现HOG+SVM对CIFAR-10数据集分类
weixin_39841709的博客
12-08 357
本博客只用于学习，如果有错误的地方，恳请指正，如需转载请注明出处。看机器学习也是有一段时间了，这两天终于勇敢地踏出了第一步，实现了HOG+SVM对图片分类,具体代码可以在github上下载，https://github.com/subicWang/HOG-SVM-classifer。大家都说HOG+SVM是在行人检测中很合拍的一对。至于为啥，我也讲不清楚。我猜想这么合拍的一对应用在图片分类上效果应...
采用模型集成的方法对CIFAR-10数据集进行分类
weixin_40006291的博客
11-14 2024
为了改善机器学习或者深度学习的任务，除了调参，还有模型集成、迁移学习、数据增强等优化方法。模型优化，代码将实现将 lenet 以及 net1 net2 集合，来训练对CIFAR-10数据集进行分类 提升分类效果。 # 导入需要的模块 import torch import torch.nn as nn import torch.nn.functional as F import torchvision import torchvision.transforms as transforms im...
CIFAR-10 SVM方法
sakurasakura1996的博客
11-09 1281
CIFAR-10 SVM方法 notebook代码 # import package import numpy as np import pickle import matplotlib.pyplot as plt # load train and test data # batches_meta = open('F:\PycharmProjects\cs231n\homework_1_SVM...
SVM分类实战（线性）
qq_52740539的博客
08-08 359
import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import make_blobs, make_circles, make_moons from sklearn.preprocessing import StandardScaler plt.rcParams['font.sans-serif'] = ['SimHei'] # 中文显示 plt.rcParams['axes.unicode_minus'] =.
python svm算法 cifar_python实现HOG+SVM对CIFAR-10数据集分类（上）
weixin_39797532的博客
02-03 157
本博客只用于学习，如果有错误的地方，恳请指正，如需转载请注明出处。看机器学习也是有一段时间了，这两天终于勇敢地踏出了第一步，实现了HOG+SVM对图片分类,具体代码可以在github上下载，https://github.com/subicWang/HOG-SVM-classifer。大家都说HOG+SVM是在行人检测中很合拍的一对。至于为啥，我也讲不清楚。我猜想这么合拍的一对应用在图片分类上效果应...
计算机视觉（三）线性分类器
weixin_37699342的博客
12-20 2961
目录 线性分类器 数据集介绍 分类器设计 图像类型 图像表示 选择分类模型 线性分类器 权值w 分界面/决策边界 损失函数 多类支持向量机损失 正则项 超参数 L2正则项 L1正则项 优化算法（梯度下降） 梯度下降算法 随机梯度下降算法 小批量梯度下降算法 数据集划分 训练数据 测试数据 验证数据 K折交叉验证 数据预处理 线性分类器 数据集介绍 CIFAR10，5w张训练样本，1w张测试样本，含飞机、汽车、鸟、猫、船、卡车等十个类别图像均为彩色图像
Keras CIFAR-10分类 SVM 分类器篇
风信子的猫Redamancy的快乐星球
08-21 6362
Keras CIFAR-10分类 SVM 分类器篇，除了用pytorch可以进行图像分类之外，我们也可以利用keras来进行图像分类。 SVM，中文名叫支持向量机。支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane） 。
使用smo算法编写svm对CIFAR-10数据分类
Bowen Wang的博客
01-23 949
公式太难打了，弄成图片，可能不太美观，但知识没变味 3：实验内容 3.1 提取hog特征 本实验的核心在于设计svm算法，因此提取特征使用库函数实现，最主要代码如下 from skimage import feature as ft ft.hog(data[i],feature_vector=True,block_norm='L2-Hys',transform_sqrt=True) 3....
基于SVM的cifar10分类算法代码
最新发布
06-27
基于SVM的CIFAR-10图像分类算法通常涉及以下步骤：数据加载与预处理、定义SVM模型、训练模型以及评估性能。以下是完整的实现代码，结合了您提到的需求和相关引用内容。 ### 数据加载与预处理 ```python import numpy as np import pickle import os from cs231n.data_utils import load_CIFAR10 def load_data(): """ Load CIFAR-10 data and preprocess it. """ cifar10_dir = 'cs231n/datasets/cifar-10-batches-py' # Load the raw CIFAR-10 data X_train, y_train, X_test, y_test = load_CIFAR10(cifar10_dir) # Subsample the data for faster training num_training = 5000 mask = range(num_training) X_train = X_train[mask] y_train = y_train[mask] num_test = 500 mask = range(num_test) X_test = X_test[mask] y_test = y_test[mask] # Reshape the image data into rows X_train = X_train.reshape(X_train.shape[0], -1) X_test = X_test.reshape(X_test.shape[0], -1) # Normalize the data: subtract the mean image mean_image = np.mean(X_train, axis=0) X_train -= mean_image X_test -= mean_image # Add bias dimension X_train = np.hstack([X_train, np.ones((X_train.shape[0], 1))]) X_test = np.hstack([X_test, np.ones((X_test.shape[0], 1))]) return X_train, y_train, X_test, y_test ``` ### 定义线性SVM模型 ```python from cs231n.classifiers import LinearSVM # Load the data X_train, y_train, X_test, y_test = load_data() ``` ### 训练SVM模型 ```python import time # Train the SVM classifier svm = LinearSVM() tic = time.time() loss_hist = svm.train(X_train, y_train, learning_rate=1e-7, reg=2.5e4, num_iters=1500, verbose=True) toc = time.time() print('That took %fs' % (toc - tic)) ``` ### 模型预测与性能评估 ```python # Predict labels on the training set y_train_pred = svm.predict(X_train) train_accuracy = np.mean(y_train == y_train_pred) print('Training accuracy: %f' % train_accuracy) # Predict labels on the validation/test set y_test_pred = svm.predict(X_test) test_accuracy = np.mean(y_test == y_test_pred) print('Test accuracy: %f' % test_accuracy) ``` ### 可视化损失曲线（可选） ```python import matplotlib.pyplot as plt # Plot the loss history plt.plot(loss_hist) plt.xlabel('Iteration number') plt.ylabel('Loss value') plt.title('Loss History') plt.show() ``` ### 说明 - **数据加载**：通过`load_CIFAR10`函数从指定路径加载CIFAR-10数据集。 - **预处理**：包括数据子采样、归一化、添加偏置项等操作，以提高模型训练效率[^4]。 - **模型定义与训练**：使用`LinearSVM`类实现线性支持向量机，并通过梯度下降优化损失函数[^1]。 - **性能评估**：通过计算准确率来衡量模型在训练集和测试集上的表现[^3]。 ---
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值