cs231n assignment1 svm_loss_naive中梯度部分详细解释

已于 2023-07-29 19:56:52 修改
阅读量195 收藏 1
点赞数
文章标签： 支持向量机 算法 机器学习 深度学习 python
于 2023-07-17 01:09:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46105377/article/details/131756121
版权

损失函数：

L = 1 N ∑ i = 1 ∑ j ≠ y i [ m a x ( 0 , S j − S y i + Δ ] + λ ∑ k ∑ l W k , l 2 L=\dfrac{1}{N}\sum_{i=1}\sum_{j≠y_i}[max(0,S_j-S_{y_i}+Δ]+λ\sum_{k}\sum_{l}W_{k,l}^2 L=N1​i=1∑​j=yi​∑​[max(0,Sj​−Syi​​+Δ]+λk∑​l∑​Wk,l2​
注： S = W X \bold{注：}S=WX 注：S=WX

将L分为两部分分别求导

①. 1 N ∑ i = 1 ∑ j ≠ y i [ m a x ( 0 , S j − S y i + Δ ] \dfrac{1}{N}\sum_{i=1}\sum_{j≠yi}[max(0,S_j-S_{y_i}+Δ] N1​∑i=1​∑j=yi​[max(0,Sj​−Syi​​+Δ]

②. λ ∑ k ∑ l W k , l 2 λ\sum_{k}\sum_{l}W_{k,l}^2 λ∑k​∑l​Wk,l

最低0.47元/天 解锁文章
TUK_sdk
关注
深度学习 --- stanford cs231 编程作业(assignment1，Q2: SVM分类器)
松下J27录放机
06-05 1664
本文是我自己在写cs231n的assignment1时的个人笔记，供参考。
CS231n-assignment1-SVM和SoftMax
Esaka
07-11 1044
In[1]: import random import numpy as np from cs231n.data_utils import load_CIFAR10 import matplotlib.pyplot as plt from __future__ import print_function #%matplotlib inline # %matplotlib inline 可以在Ipython编译器里直接使用，功能是可以内嵌绘图，并且可以省略掉plt.show()这一步。 # figsize设
CS231n学习笔记-损失函数、损失函数与梯度下降
charles_zhang_的博客
01-05 1874
第三讲 线性分类、损失函数与梯度下降 问题：线性分类器是不能对非线性数据分类 损失函数 Multiclass SVM loss SVM（支持向量机）采取中庸的方法进行分类，分类时采用最大适配进行分类，不用精细到每个类 公式： 数学意义：将分类错误的分数Sj，减去分类正确的分数Syi，再加1.取该数和0二者的最大值 函数图像类似于铰链，所以称为“Hinge loss” 举例说明： 从上面的例子可以看出，在一个分类中，如果错误分类的分值小于（正确分类-1），那最后的loss
2020 cs231n 作业1笔记 svm
cheetah023的博客
07-19 556
Multiclass Support Vector Machine loss（SVM loss） 求loss： SVM的损失函数想要SVM在正确分类上的得分始终比不正确分类上的得分高出一个边界值。 如果正确分类得分比不正确分类得分高出，则损失为0，否则为：正确分类得分 - 不正确分类得分 + 损失函数的公式： 计算例子： 求梯度： 直观理解根据损失函数的公式两边求导， svm_loss_naive 首先完成cs231n/classifiers/linear_svm...
CS231N assignment1 SVM 代码+注释
既脱春火的博客
08-10 495
一、linear_svm.py部分 1.def svm_loss_naive(W, X, y, reg): def svm_loss_naive(W, X, y, reg): """ Structured SVM loss function, naive implementation (with loops). Inputs have dimension D, there are C classes, and we operate on minibatches of
SVM 损失计算及梯度推导
SKEEa的博客
08-14 1695
SVM算法的本质就是，计算每一个样本中非正确分类与正确分类之间的差值，判断该差值是否大于 -Delta，如果大于则说明正确分类相对于非正确分类并不是很突出，需要进行优化，否则说明正确分类相对于非正确分类更突出，不需要对该非正确分类进行优化。 最后，对这些差值进行求和，得到的就是第i个样本的损失值。 从上面的损失函数式子可以看出，W分成两部分，一部分是Wj，另外一部分是Wyi，需要分别对这两部分进行求导； def svm_loss_naive(W, X, y, reg): """ Structur.
cs231n assignment1——SVM
最新发布
qq_46344220的博客
01-20 1190
cs231n assignment1 SVM
cs231n assignment1 关于svm_loss_vectorized中代码的梯度部分
Alex的博客
01-28 4517
个人觉得svm和softmax的梯度部分是这份作业的难点，参考了一些代码觉得还是难以理解，网上似乎也没有相关的解释，所以想把自己的想法贴出来，提供一个参考。         首先贴上参考的代码： def svm_loss_vectorized(W, X, y, reg): """ Structured SVM loss function, ve
cs231n assignment1 svm
bury_的博客
07-25 1055
根据训练数据计算损失和权重矩阵W的梯度的函数，svm_loss_naive(W, X, y, reg) 关于损失函数L以及在不同模型上的得分向量S的理解，参见了知乎上翻译的官方课程笔记，知乎cs231n官方讲义翻译 python代码填补：def svm_loss_naive(W, X, y, reg): """ Structured SVM loss function, naive
计算机视觉（五）：使用SVM分类Cifar-10数据集
HHH_ANS的博客
01-08 6916
1 - 引言 之前我们使用了K-NN对Cifar-10数据集进行了图片分类，正确率只有不到30%，但是还是比10%高的[手动滑稽]，这次我们将学习使用SVM分类器来对Cafi-10数据集实现分类，但是正确率应该也不会很高 要想继续提高正确率，就要对图像进行预处理和特征的选取工作，而不是用整张图片进行识别。从计算机视觉发展的角度来将，在深度学习出来之前，传统的图像识别方法一直都是使用特征选取+分类器...
cs231n-2022-assignment1#Q2：训练一个支持向量机(SVM)
chenxy_bwave的专栏
05-10 1252
本文是李飞飞cs231n-2022的第一次作业的第2个问题（Training a Support Vector Machine）。 本作业主要包括以下内容（在starter-code的基础上以完型填空的方式补充关键代码最终构成一个完整的SVM模型）：SVM损失函数实现，梯度实现，向量化实现，Mini-batch SGD训练，超参数调优等等
svm的loss和梯度推导及代码
silent_crown的博客
09-27 1万+
svm的loss和梯度推导及代码  这个是svm的计算方式的数学实现，相信大家应该已经很熟悉了，svm算法就是对于每一个样本，计算其他不正确分类与正确分类之间的差距，如果差距大于delta那就说明差距大，需要进行进一步优化，所以对于每个样本，把这些差距加起来，让他们尽量小，这个就是svm的核心思想。  loss就很简单了，还是直接求和。 而梯度，求导相对于softmax就简单了很多，没有复杂的指
2.1.SVM线性分类器
qq_42731705的博客
08-30 2039
文章目录1.笔记总结1.1.Small Questions1.1.1.图像xi的定义，行列的问题1.1.2.np.hstack函数1.1.3.np.random.randn(）正态分布随机数函数1.2.最优化损失函数1.2.1.寻找更好的W的方法1.2.2梯度下降1.2.2.1.数值梯度1.2.2.2.实际应用中的梯度下降2.SVM的损失函数和解析梯度的计算2.1.SVM损失函数定义2.2.SVM损失函数的梯度推导（重点）2.2.1.在某个数据点上的梯度推导（编程循环实现）2.2.2.在所有数据点上的梯度推
【深度学习CV】SVM, Softmax损失函数
白辰甲
12-26 1万+
Deep learning在计算机视觉方面具有广泛的应用，包括图像分类、目标识别、语义分隔、生成图像描述等各个方面。本系列博客将分享自己在这些方面的学习和认识，如有问题，欢迎交流。 在使用卷积神经网络进行分类任务时，往往使用以下几类损失函数： 平方误差损失 SVM损失 softmax损失 其中，平方误差损失在分类问题中效果不佳，一般用于回归问题。softmax损失函数和SVM(多分类)损失函数在实际
机器学习（4）-理解SVM的损失函数和梯度表达式的实现+编程总结
CV_YOU的博客
09-24 2910
1.对于SVM这里总结下代码实现SVM的两种代码实现（for循环和矩阵操作） 首先看看SVM的损失函数，梯度函数 损失函数最终形式： L = (1/N)∑iLi + λR(W) 其中： R(W) = ∑k∑s (Wk,s)2 Li = ∑j≠yi max(0, (xiW)j−(xyiW)j+Δ) 理解：yi表示提前知道第yi个分类是正确的。比yi大的评分表示判断
svm实现图片分类（python）
热门推荐
normol的博客
11-19 6万+
目录     前言 knn vs. svm svm & linear classifier bias trick loss function regularization optimization 代码主体 导入数据及预处理 svm计算loss_function和梯度 验证梯度公式是否正确 比较运行时间 svm训练及预测，结果可视化 通过corss-vali...
CS231n作业笔记（1）Support Vector Machine
小老袁和小百合
05-21 236
svm_loss_naive这个函数的框架代码给出如下：def svm_loss_naive(W, X, y, reg): """ Structured SVM loss function, naive implementation (with loops). Inputs have dimension D, there are C classes, and we operate on...
Stanford-CS231n-assignment1-SVM及向量化梯度详解
o707191418的博客
07-09 1592
首先贴代码，后面会着重讲解SVM的向量化求梯度， Q2. Linear_SVM.py from builtins import range import numpy as np from random import shuffle from past.builtins import xrange def svm_loss_naive(W, X, y, reg): """ S...
shape函数_SVM损失函数及梯度矩阵的计算
weixin_39524636的博客
11-24 345
在学完了CS231N的《再谈线性分类》后，就可以完成assignment 1中，SVM的损失函数的实现。具体的作业文件是svm.ipynb和cs231nclassfierslinear_svm.py。与之关联的一个文件是cs231ngradient_check.py，在这个文件里实现了原notes里提到的numerical gradient算法，不过它采用的是中心差值公式（centered dif...
cs231n assignment1 two_layer_n
03-16
cs231n作业1的two_layer_n是一个两层神经网络的实现，用于对CIFAR-10数据集进行分类。该网络包括一个全连接的隐藏层和一个全连接的输出层，使用ReLU作为激活函数。在训练过程中，使用交叉熵损失函数和随机梯度下降法进行优化。该网络的目的是为了熟悉神经网络的基本概念和实现方法。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值