weixin_43282288的博客

首先定义sigmoid函数import numpy as npdef sigmoid(x,deriv = False):#前向传播 if (deriv ==True):#反向传播 return x*(1-x)#sigmoid求导注意传入的参数为sigmodid函数 return 1/(1+np.exp(-x))给初值和标签x = np.array([[0,...

不需要刻意去定义神经元，不需要什么结构体、类之类的来定义神经元！！！不过是为了方便理解，画的的圆圈而已！！也可以理解为W参数后面要连接的东西神经网络w1左边连接输入层， 右边连接隐层1，为3x4的矩阵对于这个神经网络，他的得分函数为w3[w2(w1x1)]=out(还要加激活函数)对于该模型需要指定w1,w2,w3的shape的大小，比如w1为3x4大小的。那么为什么要存在隐层呢？...

1、图中损失值loss为f=-12，想要知道x、y、z分别对f有多大的影响。希望loss越小越好2、f对z的偏导为q，q=3,则希望z越越小越好3、要计算f对x的偏导，需要先计算f对q的偏导，为z=-4，再算q对x的偏导为1，则f对x的偏导为-4，希望x越大越好，同理f对y的偏导也为-4越大越好遵循链式法则只能一层一层的往前传下面举稍微复杂的例子对1/x进行求导为-1/x^2，将1...

神经网络BP算法通过前向传播获得loss值，再反向传播优化权重参数W，W起点一般是随机初始化。用BP算法的时候，不是一次迭代1张图像，而是一次迭代多张，data_batch在数据集中一次取出256个数据，组成1个batch学习率step_size乘上更新的梯度weights_grad，就完成了对weights的一次更新epoch:假设训练集有4000张图像，将4000张图像都跑完叫做...

softmax是一个映射，将一个小的值映射为大的值，将大的值映射为非常大的值，将负值映射为非常小的值，比如有值3.2，5.1，-1.7就映射为e^3.2=24.5，以此类推，再除以总和归一化如24.5/(24.5+164.0+0.18)=0.13以log衡量损失函数，x越接近1，预测越准确，损失值越接近0，记得加个负号。...

对于x如图，假设有两组W，最终W乘以X的转置都为1，但是w1只与X的第一个像素点，与其他像素值无关，就算是[1,2,3,4]也是算出来1w2是综合考虑了每一个点。分布显的均匀。于是引入正则化惩罚项假设引入L2惩罚项，计算W的平方和，则w1的惩罚项为1^2+0+0+0=1w2惩罚项为4x(1/4)^2=1/4虽然他们有相同的损失函数，但是加上正则化惩罚项之后，就不一样了。这时候就会...

通过W找出倾斜度，通过b找出截距，以此得出划分区域。可是对于刚刚的预测来说，预测错误，所以需要损失值举一个简单的例子说明损失函数SVM有三个输入，猫、车、青蛙。各类别概率如图，认为最小可容忍程度为1(可以自己指定)，第一个式子为当前cat与car的差异，加上cat与frog的差异，对于当前cat来说，其损失值为2.9对于car来说，分类效果比较好，损失函数算得为0损失函数可以评估当...

有一个输入来了，想要找一组比较好的权重参数W。用这组权重参数与输入X进行一个组合之后，得出当前输入属于某一个类别的得分值。比如当前有一个输入32x32x3=3072,先将3072个像素点进行拉伸为3072x1转换为列向量，即输入X是一个3072x1的矩阵,想要得出X属于每一个类别(假设有10个类别)的得分值，希望得出10x1的矩阵。所以W与X组合之后能转化为10x1的矩阵，W为10x3072的...

distance距离就是超参数(曼哈顿距离与欧式距离)将训练集切分，不使用test数据集，在训练集中找一份当做验证集(fold5)，将其中4分当做训练，比如将fold1234当做训练，fold5当做验证，依次类推拿fold4当验证，fold3…fold1....