suixinsuiyuan33的博客

链接：http://www.csuldw.com/2016/03/26/2016-03-26-loss-function/损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包

SVM学习——Sequential Minimal Optimization链接：http://www.cnblogs.com/vivounicorn/archive/2011/06/01/2067496.html1、前言        接触SVM也有一段时间了，从理论到实践都有了粗浅的认识，我认为SVM的发展可以划分为几个相对独立的部分，首先是SVM理论本身，包括寻找最大间隔

支持向量机（五）-SMO算法链接：http://www.cnblogs.com/jerrylead/archive/2011/03/18/1988419.html11 SMO优化算法（Sequential minimal optimization）SMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，

链接：http://blog.youkuaiyun.com/holybin/article/details/27185659一、训练集 vs. 测试集在模式识别（pattern recognition）与机器学习（machine learning）的相关研究中，经常会将数据集（dataset）分为训练集（training set）跟测试集（testing set）这两个子集，前者用

常用图像数据集：标注、检索http://www.csdn123.com/html/blogs/20131023/87499.htm1.搜狗实验室数据集：http://www.sogou.com/labs/dl/p.html互联网图片库来自sogou图片搜索所索引的部分数据。其中收集了包括人物、动物、建筑、机械、风景、运动等类别，总数高达2,836,535张图片。

链接：https://chenrudan.github.io/blog/2015/08/04/dl5tricks.html本文主要给出了在实现网络或者调节代码过程使用的以及平时看一些文章记录下来的一些小技巧，主要针对卷积网络和图像处理。就个人感受，有些技巧还是非常有效的，而且通常可以通过看开源库的一些文档或者源代码来发掘这些内容，最后能够称为自己所用。构造validation

链接：https://mp.weixin.qq.com/s/ZKMi4gRfDRcTxzKlTQb-MwMedium 用户 Đặng Hà Thế Hiển 制作了一张信息图示，用专业、简洁并且最有吸引力的方式——信息图示，讲述计算机视觉（CV）物体识别的现代史。不仅总结了CV 6 大关键技术和目标识别的重要概念，整个信息图示从 2012年 AlexNet 赢得了 ILSVRC（Image

原始图片中的ROI如何映射到到feature map?链接： https://zhuanlan.zhihu.com/p/24780433在SPP-net中的难点一曾提到：ROI如何对应到feature map?这个地方遇到不少坑，看了很多资料都没有太明白，感觉太绕。先数数遇到的坑：《Spatial Pyramid Pooling in Deep

caffe中的batchNorm层链接： http://blog.youkuaiyun.com/wfei101/article/details/78449680caffe 中为什么bn层要和scale层一起使用这个问题首先你要理解batchnormal是做什么的。它其实做了两件事。1) 输入归一化 x_norm = (x-u)/std, 其中u和std是个累计计算的均值和方

解读Batch Normalization链接： http://blog.youkuaiyun.com/shuzfan/article/details/50723877目录目录1-Motivation2-Normalization via Mini-Batch Statistics测试BN before or after Activation

Batch Normalization导读链接： http://blog.youkuaiyun.com/malefactor/article/details/51476961Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。目前几乎已经成为DL的标配了，任何有志于学习DL的同学们朋友们雷迪斯俺的詹特曼们都应该好好学一学BN。

CNN和RNN中如何引入BatchNorm链接：http://blog.youkuaiyun.com/malefactor/article/details/51549771Batch Normalization的基本思路和价值在之前一篇文章“Batch Normalization导读”介绍了，此处不赘述，背景知识请参考上面文章。看到BN后，很明显能够看到这等

在图像的深度学习中，为了丰富图像训练集，更好的提取图像特征，泛化模型（防止模型过拟合），一般都会对数据图像进行数据增强。数据增强，常用的方式，就是旋转图像，剪切图像，改变图像色差,扭曲图像特征，改变图像尺寸大小，增强图像噪音（一般使用高斯噪音，盐椒噪音）等。但是需要注意，不要加入其他图像轮廓的噪音.　　对于常用的图像的数据增强的实现，如下： 1 # -*- coding:utf-8 -*- ...

cs231n-(5)神经网络-2：设置数据和Loss数据预处理减去均值正则化PCA and Whitening权重初始化全部初始化为零小的随机数校准方差稀疏初始化实际应用批归一化 Batch Normalization正则化L2 regularizationL1 regularizationMax norm constraintsDropoutTheme of noise in forward p...

链接：http://blog.youkuaiyun.com/holybin/article/details/27185659一、训练集 vs. 测试集在模式识别（pattern recognition）与机器学习（machine learning）的相关研究中，经常会将数据集（dataset）分为训练集（training set）跟测试集（testing set）这两个子集，前者用

链接：http://blog.sina.com.cn/s/blog_4d2f6cf201000cjx.html神经网络是一个非线性回归模型。给定样本，不同的网络结构决定了它的泛化性能。一般来说，网络结构不能过于复杂，因为复杂的网络结构意味着要估计更多的参数，因而模型的精度变差。控制模型复杂程度，可采用选择少的神经元数量或者对系数的收缩。系数收缩的思想来自岭回归（ridge regression

卷积神经网络CNN一、前言这篇卷积神经网络是前面介绍的多层神经网络的进一步深入，它将深度学习的思想引入到了神经网络当中，通过卷积运算来由浅入深的提取图像的不同层次的特征，而利用神经网络的训练过程让整个网络自动调节卷积核的参数，从而无监督的产生了最适合的分类特征。这个概括可能有点抽象，我尽量在下面描述细致一些，但如果要更深入了解整个过程的原理，需要去了解DeepLearning。

矢量化编程当使用学习算法时，一段更快的代码通常意味着项目进展更快。例如，如果你的学习算法需要花费20分钟运行完成，这意味着你每个小时能“尝试”3个新主意。但是假如你的程序需要20个小时来运行，这意味着你一天只能“尝试”一个新主意，因为你需要花费这么长时间来等待程序的反馈。对于后者，假如你可以提升代码的效率让其只需要运行10个小时，那么你的效率差不多提升一倍。矢量化编

卷积神经网络（CNN）| Comments1. 概述卷积神经网络是一种特殊的深层的神经网络模型，它的特殊性体现在两个方面，一方面它的神经元间的连接是非全连接的， 另一方面同一层中某些神经元之间的连接的权重是共享的（即相同的）。它的非全连接和权值共享的网络结构使之更类似于生物 神经网络，降低了网络模型的复杂度（对于很难学习的深层结构来说，这是非常重要的），减少了权值的数量

深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）前言（标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此我就不赘述了。SGD此处的SGD指mini-batch gradient descent，关于batch gradient de

反向传导算法链接： http://deeplearning.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95假设我们有一个固定样本集 ，它包含  个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例 ，其代价函数为：

自适应学习率调整：AdaDeltaReference：ADADELTA: An Adaptive Learning Rate Method链接： http://www.cnblogs.com/neopenx/p/4768388.html超参数超参数（Hyper-Parameter)是困扰神经网络训练的问题之一，因为这些参数不可通过常规方法学习获得。神经网

自适应学习速率SGD优化算法链接： http://blog.youkuaiyun.com/suixinsuiyuan33/article/details/69229376梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个

An overview of gradient descent optimization algorithmsNote: If you are looking for a review paper, this blog post is also available as an article on arXiv.Table of contents:Gradient

机器学习算法 原理、实现与实践 —— 感知机与梯度下降 一、前言1，什么是神经网络？人工神经网络(ANN)又称神经网络(NN)，它是一种受生物学启发而产生的一种模拟人脑的学习系统。它通过相互连结的结点构成一个复杂的网络结构，每一个结点都具有多个输入和一个输出，并且该结点与其他结点以一个权重因子相连在一起。通俗来说，神经网络是一种学习器，给它一组输入，它会得到一组输出，神经网

神经网络：多层网络与C++实现相关源码可参考最新的实现：https://github.com/ronnyyoung/EasyML ，中的neural_network模块，后持续更新，包括加入CNN的结构。一、引言在前一篇关于神经网络的文章中，给出了神经网络中单个神经元的结构和作用原理，并且用梯度下降的方法推导了单个SIMGOID单元的权值更新法则。在文章的最后给了一个例子，我们

Logistic Regression 的前世今生（理论篇）转：http://blog.youkuaiyun.com/cyh_24/article/details/50359055写这篇博客的动力是源于看到了下面这篇微博：我在看到这篇微博的时候大为触动，因为，如果是rickjin来面试我，我想我会死的很惨，因为他问的问题我基本都回答不上来。所以，痛定思痛，我决定今后对一些算法的

【卷积神经网络-进化史】从LeNet到AlexNet本博客是【卷积神经网络-进化史】的第一部分《从LeNet到AlexNet》链接：http://blog.youkuaiyun.com/cyh_24/article/details/51440344本系列博客是对刘昕博士的《CNN的近期进展与实用技巧》的一个扩充性资料。主要讨论CNN的发展，并且引用刘昕博士的思路，对CN

自编码算法与稀疏性链接： http://deeplearning.stanford.edu/wiki/index.php/%E8%87%AA%E7%BC%96%E7%A0%81%E7%AE%97%E6%B3%95%E4%B8%8E%E7%A8%80%E7%96%8F%E6%80%A7目前为止，我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中

支持向量机通俗导论（理解SVM的三层境界）链接：http://blog.youkuaiyun.com/v_july_v/article/details/7624837作者：July 。致谢：pluskid、白石、JerryLead。说明：本文最初写于2012年6月，而后不断反反复复修改&优化，修改次数达上百次，最后修改于2016年11月。

论文：Multi-scale context aggregation with dilated convolutions简单讨论下dilated conv，中文可以叫做空洞卷积或者扩张卷积。首先介绍一下dilated conv诞生背景[4]，再解释dilated conv操作本身，以及应用。首先是诞生背景，在图像分割领域，图像输入到CNN（典型的网络比如FCN[3]）中，FCN先像传统的CNN那样...