- 博客(4)
- 收藏
- 关注
RSS订阅原创 批量归一化
卷积网络中的批量归一化1、损失在最后，所以后面的层训练比较快。2、数据在底部，底部的层训练比较慢，如果底部的层发生变化，顶部的层需要重新训练，结果是收敛变慢。3、可学习的参数是均值 方差4、作用在全连接层和卷积层上，激活函数之前5、对于全连接层，作用在特征维，对于卷积层，作用在通道维。6、最初论文是想用它来减小内部协变量转移7、后续有论文指出它可能就是通过在每个小批量里加入噪音来控制模型复杂度（随机偏移 随机缩放）8、因此没必要跟丢弃法混合使用9、批量归一化固定小批量中的均值和方差，然后学
2022-04-01 21:47:43
124
原创 CNN学习记录
两个原则1、平移不变性-2维交叉相关对于特征在不同的地方，识别器不会发生变化。2、局部性–只需要附近的点识别特征只需要考虑局部信息，不考虑全部信息1、在CNN当中需要考虑图像的空间信息，所以需要矩阵来算，不能和MLP当中一样，将图像展开成向量形式。2、权重变成4-D的张量3、...
2022-03-29 16:51:20
3235
原创 深度学习记录（感知机）
1、在感知机里面有两个超参数：隐藏层数和每层隐藏层的大小。2、输出不需要加激活函数3、多层感知机里面隐藏层的大小逐渐收缩。压缩太狠会损失一些信息。4、多层感知机使用隐藏层和激活函数得到非线性模型。5、常用的激活函数sigmoid tanh relu（用的多一点）6、使用software来处理多分类问题7、验证数据集和测试数据集不能混到一起8、没有足够多的数据使用时 可以用K折交叉验证，K常取10或5，最后取误差的平均。10、过拟合：模型容量高，数据简单欠拟合：模型容量低，数据复杂正常：
2022-03-23 16:54:17
2469
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人