Dandelion_2的博客

当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一般分为三种，即：训练集上loss不下降，验证集上loss不下降，和测试集上loss不下降训练集loss不下降1.模型结构和特征工程存在问题如果一个模型的结构有问题，那么它就很难训练，通常，自己“自主研发”设计的网络结构可能很难适应实际问题，通过参考别人已经设计好并实现和测

strides在官方定义中是一个一维具有四个元素的张量，其规定前后必须为1，所以我们可以改的是中间两个数，中间两个数分别代表了水平滑动和垂直滑动步长值。strides=(2,2) 分别代表水平滑动步长和垂直滑动步长都为2...

一些轻量级的网络，如mobilenet中，会有深度可分离卷积depthwise separable convolution，由depthwise(DW)和pointwise(PW)两个部分结合起来，用来提取特征feature map相比常规的卷积操作，其参数数量和运算成本比较低常规卷积操作对于一张5×5像素、三通道（shape为5×5×3），经过3×3卷积核的卷积层（假设输出通道数为4，则卷积核shape为3×3×3×4，最终输出4个Feature Map，如果有same padding则尺寸与输入层

原文连接：https://blog.youkuaiyun.com/u012273127/article/details/76206977感谢这位博主的笔记cnn_mnist_init.m文件代码function net = cnn_mnist_init(varargin)% 初始化CNN网络结构% CNN_MNIST_LENET Initialize a CNN similar for MNIST...

今天让我们来总结下训练神经网络中最最基础的三个概念：Epoch, Batch, Iteration。1、名词解释2. 换算关系实际上，梯度下降的几种方式的根本区别就在于上面公式中的 Batch Size不同。*注：上表中 Mini-Batch 的 Batch 个数为 N / B + 1 是针对未整除的情况。整除则是 N / B。3. 示例CIFAR10 数据集有 50000 张训...