深度学习pytorch——激活函数&损失函数（持续更新）

论生物神经元与神经网络中的神经元联系——为什么使用激活函数？

我们将生物体中的神经元与神经网络中的神经元共同分析。从下图可以看出神经网络中的神经元与生物体中的神经元有很多相似之处，由于只有刺激达到一定的程度人体才可以感受到刺激，并且人体对刺激做出的响应是有限的，所以在输出之前应该经过激活函数。这个激活函数可以将原来发散的数据变成收敛的数据。

什么是梯度？

函数在某一点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致，而它的模为方向导数的最大值。

接下来我们将研究激活函数的梯度问题，我们将从代码实践中，获得明确的结果，更清楚激活函数的作用。

激活函数及其梯度

我们如果使用如下函数，会发现在0点函数是不可导的，我们找到一个近似此函数的分布的可导函数。

1、Sigmoid/Logistic

sigmoid函数的取值范围为[0, 1]，因此可以使用sigmoid函数可以对数据进行压缩。

注意：由于sigmoid函数随着x的增大会逐渐趋近于1，此时sigmod的导数，就是趋近于0，就是梯度为0，在对参数进行更新的过程中我们会使用到梯度，新参数=旧参数-学习率*梯度，这就会导致参数长时间得不到更新，造成梯度离散的情况。

对sigmoid函数求导，可以得到。由于激活函数在神经网络中是已知的，因此sigmoid函数的导数也是已知的，这非常有利于我们的计算。

代码演示：

我们从代码情况中可以明显看到，经过sigmoid 函数之后所有的值都在0-1范围内，sigmoid函数的确对数据起到了一个压缩效果。

这里的torch.sigmoid