aheyor的博客

在神经网络中，Sigmoid 函数作为激活函数，它的主要作用是引入非线性因素，使得神经网络能够学习和模拟更复杂的数据关系。它的输出可以被解释为神经元被激活的概率，这在二分类问题中特别有用，因为输出可以被视为属于某一类别的概率。Sigmoid 函数的图形是一个典型的 S 形曲线，它在 �x 轴的负无穷大到 0 的区间内迅速从 0 上升到 0.5，然后在 �x 轴的 0 到正无穷大的区间内从 0.5 缓慢上升到 1。

Sigmoid 函数，也称为逻辑函数（Logistic function），是一种在统计学和神经网络中广泛使用的函数。它起源于19世纪对人口增长的研究，特别是由比利时数学家 Pierre François Verhulst 提出的逻辑斯谛增长模型（Logistic growth model）。

这种算法模型可以用于分类、回归、聚类等多种机器学习任务。在训练过程中，通过迭代优化权重和偏置，使得神经网络的输出更接近于目标值，从而实现数据的非线性映射和处理。神经元作为神经网络的基本单元，其底层算法是对生物神经元的简化与模拟。

例如，如果使用Sigmoid激活函数，当净输入 ���net 很大时，神经元的输出 �y 接近于1；当净输入 ���net 很小（尤其是负值很大）时，神经元的输出 �y 接近于0。净输入（Net Input），在神经网络中，指的是单个神经元在经过权重调整和偏置处理后，传递到激活函数之前的总和。净输入是神经元的一个非常重要的概念，因为它直接关系到神经元是否会被激活。：每个输入信号 ��xi​ 都会乘以一个对应的权重 ��wi​。偏置可以被视为一个恒定的输入信号，其权重固定为1。

因此，当神经元的净输入 �x 很大时，Sigmoid 函数的输出 �y 会非常接近于 1。相反，如果净输入 �x 是一个非常大的负数，那么 �−�e−x 会变得非常大，导致 Sigmoid 函数的输出 �y 接近于 0，表示神经元没有被激活或者激活程度非常低。因此，Sigmoid 函数的分子接近于 1，而分母接近于 1，所以函数的值接近于 11+0=11+01​=1。当输入 �x 为正且非常大时，�−�e−x（�e 的负 �x 次方）会变得非常接近于 0。其中 �x 是神经元的净输入（net）。