qq_38410428的博客

本内容来自其他的人解析，参考链接在最后的注释。1. 前言目前深度学习模型多采用批量随机梯度下降算法进行优化，随机梯度下降算法的原理如下:n是批量大小(batchsize)，η是学习率(learning rate)。可知道除了梯度本身，这两个因子直接决定了模型的权重更新，从优化本身来看它们是影响模型性能收敛最重要的参数。学习率直接影响模型的收敛状态，batchsize则影响模型的泛化性能，两者又是分子分母的直接关系，相互也可影响，因此这一次来详述它们对模型性能的影响。2. 学习率如何影响模型性.

不变性在图像领域，常见的数据增强技术包括将图像平移几个像素，或者水平翻转图像。直观来看，数据增强被用来为模型引入数据域中的不变性：目标分类通常对水平翻转或平移是不敏感的。网络架构也可以被用于对不变性进行硬编码：卷积神经网络适用于平移不变性 ，而物理模型适用于平移、旋转和原子排列的不变性...