如果世界之光有颜色，那么一定是橙色

作者：无涯链接：https://www.zhihu.com/question/39840928/answer/241440370来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。首先，在试图弄懂AUC和ROC曲线之前，一定，一定要彻底理解混淆矩阵的定义！！！混淆矩阵中有着Positive、Negative、True、False的概念，其意义如下：称...

转载自 https://blog.youkuaiyun.com/ccnt_2012/article/details/81837154 五次及以上多项式方程没有根式解（就是没有像二次方程那样的万能公式），这个是被伽罗瓦用群论做出的最著名的结论。但是，没有王屠夫难道非得吃带毛猪？工作生活中还是有诸多求解高次方程的真实需求（...

深度网络参数训练时内部存在协方差偏移（Internal Covariate Shift）现象：深度网络内部数据分布在训练过程中发生变化的现象。为什么会带来不好影响：训练深度网络时，神经网络隐层参数更新会导致网络输出层输出数据的分布发生变化，而且随着层数的增加，根据链式规则，这种偏移现象会逐渐被放大。这对于网络参数学习来说是个问题：因为神经网络本质学习的就是数据分布（representation...

神经网络训练细节系列笔记：神经网络训练细节（激活函数）神经网络训练细节（数据预处理、权重初始化）神经网络训练细节（Batch Normalization）神经网络训练细节（训练过程，超参数优化）通过学习，我们知道，因为训练神经网络有个过程: <1>Sample 获得一批数据； <2>Forward 通过计算图...

激活函数也叫激励函数。激励函数必须是非线性，因为激励函数的非线性才可以解决非线性问题。如果不使用激励函数（相当于fx=x）或者使用线性激励函数，那么可以认为，神经网络每一层都相当于矩阵相乘，多少层都可以叠加成一层。sigmoid比起relu的优势1）单侧抑制2）相对宽阔的兴奋边界3）稀疏激活性。...

中心化中心化就是零均值化，对于每一个元素减去本图像的平均值即可。E（X-E（X））=0这样做的意义在于，对于某些激活函数，比如sigmoid，relu，tanh而言，激活函数单调递增，其任意一点导数均大于零。而f关于wi的偏导数为xi，如果xi均为正数（或者负数），那么其正负等同于xi的正负，也就是必然是正数（或者零）。那么如果想要使得loss函数减小，朝着的方向运...