u014351944的博客

文章目录深层神经网络深层网络中的前向传播核对矩阵的维数为什么使用深层表示搭建深层神经网络块前向和反向传播参数 超参数深层神经网络L表示层数n[l]n^{[l]}n[l]表示第l成的单元数量a[l]a^{[l]}a[l]表示第l层的激活函数w[l]w^{[l]}w[l]表示在a[l]a^{[l]}a[l]中计算z[l]z^{[l]}z[l]的权重深层网络中的前向传播核对矩阵的维数...

文章目录训练/验证/测试集偏差/方差正则化Dropout正则化其他正则化方法归一化梯度消失和梯度爆炸神经网络的权重初始化梯度的数值逼近梯度检验训练/验证/测试集训练集：执行训练算法验证集：进行交叉验证，选取最终模型测试集：无偏评估算法的运行状况小数据集：无验证集 7:3 有验证集6：2:2大数据集：百万级别 98:1:1 超百万 99.5%：0.25%：0.25% 或 99.5%:0...

部分内容参考https://blog.youkuaiyun.com/Koala_Tree/article/details/78045596二分类输入x 是每个像素的RGB值，维数是64643想要的输出是 y 0,1m 样本的数量n 表示特征的数量logistic 回归逻辑回归的预测值在[0,1]之间，表示为1的概率所以需要引入Sigmod函数y^=Sigmoid(wTx+b)=σ(wTx...

文章目录神经网络概览神经网络的表示计算神经网络的输出多个例子中的向量化激活函数为什么需要非线性激活函数激活函数的导数神经网络的梯度下降随机初始化神经网络概览[]表示不同的层x(i)x^{(i)}x(i)表示第i个数据神经网络的表示简单的神经网络a[i]a^{[i]}a[i]表示第i层的激活值w[i]，b[i]w^{[i]} ，b^{[i]}w[i]，b[i]表示第i层的参数w[1...

文章目录Mini-batch 梯度下降法指数加权平均动量梯度下降法RMSpropAdam 优化算法学习率衰减局部最优的问题Mini-batch 梯度下降法当对整个训练集执行梯度下降法时，要处理整个数据集，然后才能进行一步梯度下降法，这样速度回非常慢但如果每次数据的一部分进行梯度下降，那么算法的处理速度会快很多mini-batch梯度下降，在每次迭代是并不是下降的当mini-batc...