35、深入探索TensorFlow：激活函数、计算图与性能优化

深入探索TensorFlow：激活函数、计算图与性能优化

1. 常见激活函数介绍

在构建神经网络（NN）模型时，激活函数起着至关重要的作用。以下为你介绍几种常见的激活函数及其在TensorFlow中的应用。
- 双曲正切函数（tanh） ：在TensorFlow中，可以使用 tf.keras.activations.tanh() 来实现双曲正切激活。示例代码如下：

import numpy as np
import tensorflow as tf

z = ...  # 假设z已经定义
print(np.tanh(z))
print(tf.keras.activations.tanh(z))

• 逻辑函数（Logistic Function） ：在SciPy的 special 模块中可以找到逻辑函数 expit ，同时在TensorFlow中可以使用 tf.keras.activations.sigmoid() 实现相同的计算。示例代码如下：

from scipy.special import expit

print(expit(z))
print(tf.keras.activations.sigmoid(z))

• 修正线性