l2181265的博客

激活函数 1.sigmoid函数 σ(x)=11+e−x  \sigma(x) = \frac{1}{1+e^{-x}}\, σ(x)=1+e−x1​ 过去反向传播很流行使用，但随着神经网络层数增加，反向传播过程中会出现梯度消失。 sigmoid函数导数 梯度消失：反向传播利用的是梯度下降法，反向传播时，每经过一个sigmoid层，就需要乘以一个小于0.25的梯度（也就是sigmoid函数的导数），随着神经网络层数增加，梯度会越来越小，最后梯度衰减到接近0，即梯度消失。 2.tanh函数 tanh⁡

第一步：加载数据 import tensorflow as tf import os import numpy as np import scipy.io os.environ[‘TF_CPP_MIN_LOG_LEVEL’] = ‘2’ #close the warning scipy.io–调用读取matlab数据 开启警告通知os.environ[‘TF_CPP_MIN_LOG_LEVEL’...