TensorFlow Cookbook项目解析：激活函数实现与应用指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00832/article/details/148487100

TensorFlow Cookbook项目解析：激活函数实现与应用指南

tensorflow_cookbook Code for Tensorflow Machine Learning Cookbook 项目地址: https://gitcode.com/gh_mirrors/te/tensorflow_cookbook

激活函数概述

在神经网络中，激活函数扮演着至关重要的角色，它决定了神经元是否应该被激活以及以何种强度激活。TensorFlow提供了多种内置的激活函数，每种函数都有其独特的数学特性和适用场景。

常见激活函数实现

1. ReLU函数（修正线性单元）

ReLU（Rectified Linear Unit）是最常用的激活函数之一，其数学表达式为f(x) = max(0, x)。在TensorFlow中可以通过tf.nn.relu()实现：

y_relu = sess.run(tf.nn.relu(x_vals))

特性分析：

计算简单，收敛速度快
解决了梯度消失问题（在正区间）
可能导致"神经元死亡"问题（负区间梯度为0）

2. ReLU6函数

ReLU6是ReLU的变体，在正区间增加了上限6：

y_relu6 = sess.run(tf.nn.relu6(x_vals))

特性分析：

限制了输出范围在[0,6]之间
在移动端和低精度计算中表现良好
防止激活值过大导致数值不稳定

3. Sigmoid函数

Sigmoid函数将输入压缩到(0,1)区间：

y_sigmoid = sess.run(tf.nn.sigmoid(x_vals))

特性分析：

输出范围(0,1)，适合概率输出
容易导致梯度消失问题
输出不以0为中心

4. Tanh函数（双曲正切函数）

Tanh函数将输入压缩到(-1,1)区间：

y_tanh = sess.run(tf.nn.tanh(x_vals))

特性分析：

输出范围(-1,1)，以0为中心
比Sigmoid梯度更强
同样存在梯度消失问题

5. Softsign函数

Softsign是Tanh的替代方案：

y_softsign = sess.run(tf.nn.softsign(x_vals))

特性分析：

计算比Tanh更简单
在0附近比Tanh更平缓
渐近线行为更平缓

6. Softplus函数

Softplus是ReLU的平滑版本：

y_softplus = sess.run(tf.nn.softplus(x_vals))

特性分析：

处处可微
比ReLU计算成本高
输出总是正数

7. ELU函数（指数线性单元）

ELU结合了ReLU和Softplus的优点：

y_elu = sess.run(tf.nn.elu(x_vals))

特性分析：

负值区域有非零输出
减少了"神经元死亡"问题
计算成本比ReLU高

可视化对比

通过Matplotlib可以直观地比较各种激活函数的形状：

plt.plot(x_vals, y_softplus, 'r--', label='Softplus', linewidth=2)
plt.plot(x_vals, y_relu, 'b:', label='ReLU', linewidth=2)
plt.plot(x_vals, y_relu6, 'g-.', label='ReLU6', linewidth=2)
plt.plot(x_vals, y_elu, 'k-', label='ExpLU', linewidth=0.5)
plt.ylim([-1.5,7])
plt.legend(loc='upper left')
plt.show()