Neekity的博客

神经网络中， 运算特征是不断进行循环计算， 所以在每代循环过程中， 每个神经元的值也是在不断变化的。 这就导致了Tanh函数在特征相差明显时的效果会很好， 在循环过程中其会不断扩大特征效果并显示出来。但有时当计算的特征间的相差虽比较复杂却没有明显区别， 或是特证间的相差不是特别大时， 就需要更细微的分类判断， 这时Sigmoid函数的效果就会更好一些。后来出现的ReLU激活函数的优势是， 经过...

异或问题训练出来的值都是nan# -*- coding: utf-8 -*-import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plttf.set_random_seed(55)np.random.seed(55)input_data = [[0., 0.], [0., 1.], [1., 0...

在深度前馈网络中假设有数据集{(x(1),y(1)),...,(x(m),y(m))}\left \{ (x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)}) \right \}{(x(1),y(1)),...,(x(m),y(m))}构建代价函数，其中sls_{l}sl​表示第lll层的节点数 J(W,b)=1m∑i=1mJ(W,b;x(i),y(i))+λ2∑l=1N...