神经网络：sigmoid neurons（2）

前言

昨天有急事，断了一天

正文

继续上图公式的讲解，这是sigmoid neurons的公式，想理解它，不妨用极端法：
假设 是一个非常大的正数，所以exp(-z)就接近于0，公式的结果也接近1；另一方面，如果z是个非常小的负数，exp(-z)就接近无穷，公式结果也接近0。

我们也可以通过sigmoid的函数图像来了解它：

这个函数是很平滑的，因此，权重w的小变化和bias的小变化只会引起ouput的小变化（数学符号难打），实际上，通过数学计算，可以得到下面的公式：

看起来很复杂，有合式也有偏导数，但是我们都不用担心这些，我们需要关注的是，这只是一个关于和的线性函数，只要有w和b，总是能算出output的变化量。

利用sigmoid neurons，我们应该如何去下结论呢？我们知道perceptrons结果只有0和1，可以判断是与否，但是sigmoid的结果是[0,1]这个区间，怎么理解？其实，可以简单地理解为概率，比方说识别手写数字9，我们定义sigmoid算出结果不少于0.5表示9，低于0.5不为9。