softmax的优缺点

原创

于 2021-01-10 11:02:41 发布

· 4k 阅读

2 ·

版权

Softmax函数在深度学习中用于概率输出，其指数形式便于梯度计算但可能导致数值溢出。通过减去最大值可缓解此问题。在使用交叉熵损失函数时，TensorFlow提供了一个接口，推荐设置`from_logits=True`以确保数值稳定性和利用内部优化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

引入指数形式的优点

使用指数形式的Softmax函数能够将差距大的数值距离拉的更大。

在深度学习中通常使用反向传播求解梯度进而使用梯度下降进行参数更新的过程，而指数函数在求导的时候比较方便。比如 [公式]

import tensorflow as tf

print(tf.__version__) # 2.0.0
a = tf.constant([2, 3, 5], dtype = tf.float32)

b1 = a / tf.reduce_sum(a) # 不使用指数
print(b1) # tf.Tensor([0.2 0.3 0.5], shape=(3,), dtype=float32)

b2 = tf.nn.softmax(a) # 使用指数的Softmax
print(b2

最低0.47元/天解锁文章