TensorFlow激励函数

激励函数

  常见的激励函数有：线性激励函数、阈值或阶跃激励函数、S形激励函数、双曲正切激励函数和高斯激励函数等。

  TensorFlow三种常用激励 relu sigmoid tanh 本次利用relu激励进行离散点拟合

  激励函数（activation function）是一群空间魔法师，扭曲翻转特征空间，在其中寻找线性的边界。

激励函数可以引入非线性因素，解决线性模型所不能解决的问题

卷积神经网络中激励函数应用

完整代码实现

# 激励函数
# 三种激励 relu sigmoid tanh
# 多层神经网络时 激励选择需慎重 会导致梯度消失或梯度爆炸
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt


def add_layer(inputs, inSize, outSize, activationFunction=None):
    # 输入层
    with tf.name_scope('Inputs'):
        weights = tf.Variable(tf.random_normal([inSize, outSize]))  # 矩阵
        biases = tf.Variable(tf.zeros([1, outSize]) + 0.1)</