恩泽君的博客

深度学习各类优化器详细介绍  这篇文章将按照时间线详细讲解各类深度学习优化器，包括常用与不常用的，为这篇博客的个人笔记，但是本文将对每个优化器进行更加清晰的讲解，所以可以更容易理解每一个优化器，对于深度学习小白来说也可以很容易看懂。一、前言：  最新的深度学习库包含各种优化梯度下降的算法，比如有caffe、keras、tensorflow、pytorch等，但是通常这些算法被当做一个黑匣子使...

神经网络参数的初始化  对于神经网络中的参数，如权重和偏置，往往我们需要初始化，最常规的方法就是正态分布初始化这些参数，但是采用什么均值和方差的正态分布初始化参数却是需要仔细考虑的。  上一篇博文讲述了如何防止网络训练在最后一层出现饱和，导致参数更新缓慢的问题，就是使用了交叉熵损失函数，但是这只能对输出层有效，对于其他层却还是有可能出现这个问题。（1）未合理初始化带来的问题  假如所有参数...

深度学习中交叉熵损失函数背景，公式推导详解首先，我们来看下交叉熵损失函数的表达式：其中上面那个方程式是用于计算最后一层激活函数为softmax函数的交叉熵损失函数，下面这个是用于计算最后一层激活函数为sigmoid函数的交叉熵损失函数。下面我将从为什么使用交叉熵函数、交叉熵函数数学推导、为什么对于sigmoid和softmax两个函数的交叉熵损失函数有差别这三个方面来讲解：一、为什么使用...

纯python实现mnist手写体数字识别最近两天开始写自己学习深度学习以来第一个完全从底层不依赖其他深度学习工具的神经网络，实现mnist手写体识别，目前准确度达到进97%。网络搭建，训练全都由python实现，不依赖tensorflow，keras，pytorch等工具，为的就是能够让自己完全清楚一个神经网络搭建需要哪些步骤，每个部分是怎样设计的，以及清楚网络训练过程中前向传播，反向传播过...

tensorflow-gpu安装及cuda和cudnn的安装遇到的坑及解决办法今天安装tensorflow-gpu，遇到了太多坑，花了整整一晚上才搞好，下面我将总结下tensorflow完整安装办法，以及途中会遇到哪些错误以及怎么解决，如果你也遇到这类问题，可以参考一下：conda安装首先，我想说的是，千万不要用pip安装tensorflow-gpu，因为gpu版本需要很多依赖包，包括cud...

本文实现了matlab对机器学习预测结果的各类评价指标的计算，PR、ROC曲线的绘制，及不同阈值情况下评价指标对比，阈值选取问题的分析。转载请注明出处，谢谢。