Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！想进粉丝福利群及免费送书群，直接私信我拉你。交流学习、商务合作：https://bbs.youkuaiyun.com/topics/614347534

在机器学习中让输入的数据之间相关性越少越好，最好输入的每个样本都是均值为0方差为1。在输入神经网络之前可以对数据进行处理让数据消除共线性，但是这样的话输入层的激活层看到的是一个分布良好的数据，但是较深的激活层看到的的分布就没那么完美了，分布将变化的很严重。这样会使得训练神经网络变得更加困难。所以添加BatchNorm层，在训练的时候BN层使用batch来估计数据的均值和方差，然后用均值和方差来标准化这个batch的数据，并且随着不同的batch经过网络，均值和方差都在做累计平均。

CNN网络在反向传播中需要逐层向前求梯度，然而，那它是如何进行反向传播的呢？此外，CNN中为什么要加pooling层，它的作用是什么？

传统卷积运算是将卷积核以滑动窗口的方式在输入图上滑动，当前窗口内对应元素相乘然后求和得到结果，一个窗口一个结果。，所以可以将每个窗口内的元素拉成向量，通过向量内积进行运算，多个窗口的向量放在一起就成了矩阵，每个卷积核也拉成向量，多个卷积核的向量排在一起也成了矩阵，于是，卷积运算转化成了矩阵乘法运算。

BN在深度网络训练过程中是非常好用的trick，在笔试中也很常考，而之前只是大概知道它的作用，很多细节并不清楚，因此希望用这篇文章彻底解决揭开BN的面纱。

过拟合和欠拟合的表现和解决方法。其实除了欠拟合和过拟合，还有一种是，适度拟合就是我们模型训练想要达到的状态，不过适度拟合这个词平时真的好少见。

对于k维向量z来说，其中zi∈Rzi∈R，我们使用指数函数变换可以将元素的取值范围变换到(0,+∞)(0,+∞),之后我们再所有元素求和将结果缩放到[0,1],形成概率分布。所以我们在函数实现时利用其性质：先对输入数据进行处理，之后再利用计算公式计算。Softmax函数用于将分类结果归一化，形成一个概率分布。作用类似于二分类中的Sigmoid函数。常见的其他归一化方法，如max-min、z-score方法并不能保证各个元素为正，且和为1。对于一个k维向量z，我们想把这个结果转换为一个k个类别的概率分布。

W: (3072, 10), 重新reshape到(32, 32, 3, 10)最后的10代表10个分类器，前面的就是每个分类器可视化的结果，它像是每个类别的所有图像的一个模板（取了平均值，因为只有数值相近的时候平方才最大），如果某个类别的分数较高，那么它就越接近这个类图片的模板。Dropout可以有效地抑制过拟合，一般来说神经元失活的概率越大在训练集上和在验证集上的区别就越小，但是较大的失活概率会导致神经网络的容量下降，更难拟合数据。在前向传播的过程中注意保存中间数据，为了反向传播的时候方便计算。

在机器学习中让输入的数据之间相关性越少越好，最好输入的每个样本都是均值为0方差为1。在输入神经网络之前可以对数据进行处理让数据消除共线性，但是这样的话输入层的激活层看到的是一个分布良好的数据，但是较深的激活层看到的的分布就没那么完美了，分布将变化的很严重。这样会使得训练神经网络变得更加困难。所以添加BatchNorm层，在训练的时候BN层使用batch来估计数据的均值和方差，然后用均值和方差来标准化这个batch的数据，并且随着不同的batch经过网络，均值和方差都在做累计平均。

机器学习（九）：朴素贝叶斯算法

机器学习（八）：模型选择与调优

零基础学Python--机器学习（四）：特征提取

零基础学Python--机器学习（二）：机器学习算法和开发

机器学习（七）：sklearn转换器估计器及K-近邻算法

零基础学Python--机器学习（三）：数据集及特征工程介绍

机器学习（六）：特征降维和主成分分析法

零基础学Python--机器学习（三）：特征预处理

零基础学Python--机器学习（一）：人工智能与机器学习概述

机器学习（四）：决策树

机器学习（三）：线性模型

机器学习《Machine Learning》----（2）模型评估与选择

机器学习《Machine Learning1》----机器学习经典总结：入门必读