概率模拟（sigmoid、softmax）

1. sigmoid

1.1 sigmoid 定义

• Sigmoid函数，也称为 S形函数 或 Logistic Function ，是一种在机器学习和深度学习中广泛使用的激活函数。它的数学表达式通常定义为：
  $$\sigma (x)=\frac{1}{1+e^{-x}}$$

1.2 sigmoid 主要特性

• 输出范围：Sigmoid函数的输出值域是(0, 1)，这意呀着它可以将任何实数映射到(0, 1)的区间内，这个特性非常适合处理二分类问题，其中输出可以解释为属于某一类的概率。
• 单调性：Sigmoid函数在其定义域内是单调递增的，即当输入x增大时，输出σ(x)也增大。
• 导数：Sigmoid函数的导数可以用它自身来表示，即
  σ ′ ( x ) = σ ( x )