小公子

原文链接：Introduction to debugging neural networks 译者：刘翔宇 审校：刘帝伟 责编：周建丁（机器学习原创/翻译投稿请联系zhoujd@youkuaiyun.com）以下建议是针对神经网络初学者的，这些建议都来自于我在行业应用和斯坦福大学里为神经网络初学者提供建议所获得的经验。本质上讲，神经网络要比大多数程序难以调试，因为大多数神经网络bug不会导

版权声明：本文为博主原创文章，转载请注明来源“素质云博客”，谢谢合作！！微信公众号：素质云笔记目录(?)[-]一深度学习中常用的调节参数学习率权重层数过拟合Loss设计与观察初始化weight decay权值衰减momentum训练时间 Early stopping增加噪声 Noise二caffe训练时Loss变为nan的原因梯度爆炸不当的损失函数不

solver算是caffe的核心的核心，它协调着整个模型的运作。caffe程序运行必带的一个参数就是solver配置文件。运行代码一般为# caffe train --solver=*_slover.prototxt在Deep Learning中，往往loss function是非凸的，没有解析解，我们需要通过优化方法来求解。solver的主要作用就是交替调用前向（forw

转载于：http://www.open-open.com/lib/view/open1473213789568.html LeNet5LeNet5 诞生于 1994 年，是最早的卷积神经网络之一，并且推动了深度学习领域的发展。自从 1988 年开始，在许多次成功的迭代后，这项由 Yann LeCun 完成的开拓性成果被命名为 LeNet5（参见：Gradient-Based L

1.segmentation fault (core dumped)     Error in test my own data *** Aborted at 1473133728 (unix time) try "date -d @1473133728" if you are using GNU date ***         解决方法：将batch_size调小

转自：http://www.csuldw.com/2016/03/12/2016-03-12-performance-evaluation/本文主要介绍几种常用的用于分类的性能评估指标，同时介绍如何绘制ROC曲线以及计算AUC值的便捷方法。最后再附上一个绘制ROC曲线和计算AUC的Python源码实现。Precision和Recall首先我们来看看下面这个混淆矩阵：

http://www.cnblogs.com/tornadomeet/p/3300132.htmlhttp://cs229.stanford.edu/section/cs229-cvxopt.pdf，从中我们可以大致了解到一些凸优化的概念，比如凸集，凸函数，凸优化问题，线性规划，二次规划，二次约束二次规划，半正定规划等，从而对凸优化问题有个初步的认识。以下是几个重要相关概念的笔记。

1.过拟合  容易产生过拟合的原因：   （1）在对模型进行训练时，有可能遇到训练数据不够，即训练数据无法对整个数据的分布进行估计的时候；  （2）或者在对模型进行过度训练（overtraining）时，常常会导致模型的过拟合（overfitting）。   防止过拟合的方法：   （1）减少训练的次数，即early stop;    ( 2 )增加训练的样本数据；

转自http://blog.youkuaiyun.com/v_july_v/article/details/40718799 Adaboost 算法的原理与推导 0 引言    一直想写Adaboost来着，但迟迟未能动笔。其算法思想虽然简单：听取多人意见，最后综合决策，但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午，在我组织的机器学习班 第8次课上Z讲

原文地址：http://blog.youkuaiyun.com/hjimce/article/details/47323463作者：hjimce卷积神经网络算法是n年前就有的算法，只是近年来因为深度学习相关算法为多层网络的训练提供了新方法，然后现在电脑的计算能力已非当年的那种计算水平，同时现在的训练数据很多，于是神经网络的相关算法又重新火了起来，因此卷积神经网络就又活了起来，再

1.介绍  BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。学习速率决定每一次循环训练中所产生的权值变化量。大的学习速率可能导

本文作者：非文艺小燕儿，VivienFu，欢迎大家转载适用，请注明出处。http://blog.youkuaiyun.com/fuwenyan?viewmode=contents http://blog.youkuaiyun.com/fuwenyan?viewmode=contents博主写的非常好，可以用作深度学习入门学习该代码需要一定的CNN理论基础。目的：实现手写数字识别

前景检测算法_4(opencv自带GMM)　　前面已经有3篇博文介绍了背景减图方面相关知识(见下面的链接)，在第3篇博文中自己也实现了gmm简单算法，但效果不是很好，下面来体验下opencv自带2个gmm算法。　　opencv实现背景减图法1(codebook和平均背景法)　　http://www.cnblogs.com/tornadomeet/archive/2012/04/08

这篇主要介绍原理另外一篇介绍实现见 http://blog.youkuaiyun.com/alvine008/article/details/9097105  点击打开链接前言    动笔写这个支持向量机(support vector machine)是费了不少劲和困难的，原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二者这个东西也不好讲清楚，尽管网

一、遇到的问题（1）梯度消失我在实现过程中犯的第一个错误是没有循序渐进。仗着自己写过一些神经网络的代码以为手到擒来，直接按照LeNet-5的结构写，过于复杂的结构给测试和调试都带来了很大的麻烦，可谓不作死就不会死。简单分析一下LeNet-5的结构：第一层8个5*5的卷积核，第二层分别作2*2pooling，第三层16个5*5的卷积核，第四层2*2pooling，随后是三个节点数

转自：http://blog.youkuaiyun.com/stdcoutzyx/article/details/41596663自今年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人交流，互有增益。正

1、学习率步长的选择：你走的距离长短，越短当然不会错过，但是耗时间。步长的选择比较麻烦。步长越小，越容易得到局部最优化（到了比较大的山谷，就出不去了），而大了会全局最优一般来说，前1000步，很大，0.1；到了后面，迭代次数增高，下降0.01，再多，然后再小一些。 2、权重梯度消失的情况，就是当数值接近于正向∞，求导之后就更小的，约等于0，偏导为0 梯度爆炸