－　

文章目录SVM在CS231n课程的线性分类中讲了SVM和Softmax两种分类方法，但是没有给出梯度的具体计算过程，本文着重记录一下两个算法的梯度计算。SVMSVM的损失函数的计算过程如下：首先计算Score：S=WXS = WXS=WX，其中S(N,C)，W(N,D)，X(D,C)，矩阵S中得每一行即代表该训练样本在每一类别上得到的分数。[S00S01⋯S0CS10S11⋯S1C⋮⋮S...

文章目录RNN(Recurrent Neural Networks)RNN(Recurrent Neural Networks)上图是RNN的计算图，输入为一定长度的时间序列X及隐藏层的初始态h0h_0h0​，每一时刻的隐藏层都是由上一时刻的隐藏层ht−1h_{t-1}ht−1​及当前的输入层X计算得到：ht=tanh⁡(Wxh⋅xt+Whh⋅ht−1+b)h _ t = \operator...

Assignment2的两个要点：全连接神经网络的系统构建、深度学习优化方法、正则化、归一化等等内容作业代码全连接神经网络的构建cs231n/classifiers/fc_net.py相关层的前向与反向传播（affine\relu\bn\ln\dropout）cs231n/layers.py相关层的组合(affine\relu)cs231n/layer...

文章目录卷积神经网络卷积层池化层反向传播卷积层反向传播卷积神经网络CNN一般由卷积层、池化层、全连接层三种类型的层构成。卷积层一些概念：感受野：即每个神经元与输入数据的局部区域连接的空间大小，其大小为卷积核尺寸（F），深度永远与输入数据的深度相同。步长：卷积核在输入数据上滑动时，每步所移动的像素大小零填充：为了使得输出与输入保持同样的大小而仅仅在深度上不同，需要在输入数据四边进行...

文章目录L2 regularizationL1 regularizationDropout当训练数据过少、网络复杂或训练过多时，会出现过拟合。在训练集上的准确度不断提高，但在测试集上的准确率不高。为了解决这个问题，就需要在损失函数中加入正则化项，来降低网络的复杂度，提高其泛化能力。L2 regularizationL2正则化就是在损失函数后加一项Loss+12λ∑j=1nwj2Loss+\f...

文章目录BatchNormalization其他Normalization方法LayerNormalizationInstanceNormalizationGroupNormalization神经网络中有很多层的叠加，数据经过每一层后，其分布会发生变化，给下一层的训练带来麻烦，这一现象称为Internal Covariate Shift。在bn之前一般通过减小学习率、初始化权重、以及细致训练策略...

cs231n的第一部分主要为knn，svm，softmax以及two_layer_network，作为入门，主要难点在于损失函数构建及梯度求导。算法代码重难点KNNcs231n/classifiers/k_nearest_neighbor.py \qquad knn.ipynbnoloop求距离 交叉验证SVMcs231n/classifiers...

文章目录随机梯度下降minibatch-SGD学习率衰减动量（Momentum）更新Nesterov动量更新逐参数适应学习率方法AdagradRMSpropAdam随机梯度下降minibatch-SGD最简单的更新形式，沿着梯度负方向改变参数，其中dx由小批量数据求得x += - learning_rate * dx学习率衰减随步数衰减：经过多少步，衰减为之前得0.9指数衰减：α...

文章目录矩阵求导方法两层神经网络的梯度求导矩阵求导方法维度相容原则：假设每个中间变量量的维度都不不⼀一样，看怎么摆能把雅克比矩阵的维度摆成矩阵乘法规则允许的形式。只要把矩阵维度倒腾顺了了，公式也就对了了。设有f(Y):Rm×p→Rf ( Y ) : \mathbb { R } ^ { m \times p } \rightarrow \mathbb { R }f(Y):Rm×p→R，Y=A...

文章目录1 语义分割1.1 Sliding Window1.2 FCN（Fully Convolutional）去池化转置卷积2 目标检测2.1 R-CNN2.2 Fast R-CNNFaster R-CNNYOLO/SSD图像检测和分割是cv的两个重要任务，这节课对其进行总结。1 语义分割输入图像，并对每个像素进行分类并输出，而对于同类的目标，语义分割不会对其进行区分。1.1 Slidi...