qq_42428446的博客

对于一个很简单的例子，如下图所示，对于一个神经元z，接收数据x作为输入，经过激活函数，获得激活后的结果，最后利用损失函数获得损失，然后梯度反向回传。上图右侧即梯度反向回传的过程，其中字母上加一条线代表损失函数对该参数的偏导。

似然估计与我们熟知的概率问题是一个相反过程，概率是指当我们知道一些条件或者参数，来预测某件事情发生的概率，例如，当我们知道了天气，温度等来预测晾衣服的概率。再例如抛硬币，我们已知的条件是硬币材质均匀，大小均匀，因此可以预测正面朝上的概率是0.5，反面朝上的概率是0.5而似然是一个相反的过程，还是抛硬币的例子，现在我们假设抛10000次硬币，其中8000次人像朝上，2000次数字朝上，基于这个结果，我们推断，硬币可能构造特殊。进而推测硬币的参数，人像概率是0.8，数字概率是0.2。