fireflychh的博客

在多分类任务中通常使用softmax来对特征进行计算，从而得出不同类别的概率。简单说就是对特征进行exp计算，然后在进行标准化，让所有类被输出的概率值的和为1.softmax(x) = normalize(exp(x))softmax(x_i)= (exp⁡(x_i))/(∑_jexp⁡(x_j))

为了训练网络，都需要定义一个loss function来描述模型对问题的求解精度。loss越小，代表模型的结果和真实值偏差越小。对于分类问题，通常使用cross-entropy来定义loss  function。该概念最早用在信息论中，后来被用到很多地方。其中，y是预测的概率分布，即softmax输出的结果，y'是真实的概率分布，即label的one-hot编码，模型对真实概率分布的准确程度公式如

本次所讲的内容为Batch Normalization，简称BN，相关论文：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》网络训练过程中参数不断改变导致后续每一层输入的分布也发生变化，而学习的过程又要使每一层适应输入的分布，因此不得不降低学习率，精心

在图像处理中，往往将图像转化为像素，如讲1000*1000的图像转化为1000000的向量。如果假设隐藏层也是为1000000时，则权值参数诶1000000000000个，这种权值参数太多了，无法进行训练，所以需要减少权值参数的个数。一般有两种方法进行减少：      第一种称为局部感知野。一般认为人对外界的认知时从局部到全局的，而图像的空间联系也是局部像素联系较为紧密。所以每个神经元没有必要