- 博客(4)
- 收藏
- 关注
RSS订阅原创 深度学习预处理
Dropout，正向传播时随机将每一层的几个神经元置为0，避免过拟合，也可以把权重矩阵随机置0。网络之间插入：batch normalization，归一化之后可以适当的放缩。bath normalization，数据增强和上面都是一种正则化的手段。优化梯度下降，加入一个动量项，动量初值一般为0还有nesterov方法。训练过程中学习率动态衰减，带动量的SGD用的较多，Adam较少。梯度下降的问题：做之字运动，会掉入极小值点。前面两行的方法同时用，Adam。学习率：1e-3~1e-5。
2022-10-16 11:28:29
294
原创 深度学习中常见的非线性函数（激活函数）
仔细观察这个函数你会发现，只有在x等于0的附近这个函数的才有较大的梯度，其余地方梯度都很小，如果我们的x很大，或者很小梯度甚至会接近0，在进行梯度下降时会造成梯度消失的现象，反向传播得到的梯度很小，每次只对权重w更新一点点甚至不更新，造成梯度下降缓慢。首先是最常见的Sigmod函数，每一个输入值都会被压缩到（0，1）的范围内，在x接近0的一小段范围内可以近似得将它看作线性函数，x稍微比0大一点，它的值就非常接近1，稍微比0小一点，它的值就非常接近0。函数输入
2022-08-22 15:30:35
4255
原创 斯坦福cs231n计算机视觉笔记(2)线性分类器
这里我们使用SVM损失函数，对于一个3类别3样本的训练集来说，损失函数L=（第一个样本通过线性分类器得到了3个值，取这个样本真实类别对应的值Yi与另外两个值Yj和Yk比较，如果Yi>=Yj+1（1可以取其他值，代表运行的误差范围）则加0，否则加Yi-Yj+1，Yi和Yk也一样比较+第二个样本······）/样本数。我们的最终目的是得到输入图像的正确类别，所以我要设置一个损失函数L，去计算我们现在的w和目标之间的差距，差距越大，代表w越不好，通过损失函数L去调整w，得到一个L值最小的w。...
2022-07-29 12:09:17
774
1
原创 斯坦福cs231n计算机视觉笔记(1)k近邻算法
现有一组训练集，总共有20张图像，10张猫的和10张狗的，训练集总共有两类，现在输入一张图像，需要你判断它是猫还是狗？我们可以把输入图像与训练集中的20张进行比较，计算两张图像之间的差距，从训练集中得到一张和输入图像距离最小的图像，这个图像属于什么类别，输入便判断为什么类别。图像在计算机中是用矩阵来进行存储的，如一4x4的图像，它有16个像素，对于彩色图像来说，每一个像素都有RGB三个通道，灰度图像则只有一个通道，也就是说彩色图像是以（4，4，3）这样的三维矩阵的形式储存在计算机中。............
2022-07-25 11:58:33
754
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人