Focusing on your own Mind :) －> 站在巨人的肩膀上

版权声明：    本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com 前言：    本来上一章的结尾提到，准备写写线性分类的问题，文章都已经写得差不多了，但是突然听说最近Team准备做一套分布式的分类器，可能会使用Random Fo

一、特征值和特征向量的几何意义特征值和特征向量确实有很明确的几何意义，矩阵（既然讨论特征向量的问题，当然是方阵，这里不讨论广义特征向量的概念，就是一般的特征向量）乘以一个向量的结果仍是同维数的一个向量。因此，矩阵乘法对应了一个变换，把一个向量变成同维数的另一个向量。那么变换的效果是什么呢？这当然与方阵的构造有密切的关系，比如可以取适当的二维方阵，使得这个变换的效果就是将平面上的二维

reference: http://blog.youkuaiyun.com/luo123n/article/details/48239963前言这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。SGDSGD指stochastic gradient descen

reference：https://www.cnblogs.com/chaosimple/p/3172039.html最近在做聚类的时候用到了主成分分析PCA技术，里面涉及一些关于矩阵特征值和特征向量的内容，在网上找到一篇对特征向量及其物理意义说明较好的文章，整理下来，分享一下。 一、矩阵基础[1]：矩阵是一个表示二维空间的数组，矩阵可以看做是一个变换。在线性代数中

reference:https://www.cnblogs.com/nsnow/p/4758202.htmlA geometric interpretation of the covariance matrixhttp://www.visiondummy.com/2014/04/geometric-interpretation-covariance-matrix/译文：

reference:http://blog.codinglabs.org/articles/pca-tutorial.htmlPCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而

理解dropout注意：图片都在github上放着，如果刷不开的话，可以考虑翻墙。转载请注明：http://blog.youkuaiyun.com/stdcoutzyx/article/details/49022443开篇明义，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-b

吴恩达（Andrew Ng）07年在网易公开课上的课程。一共20讲。每看完一个视频，我都要总结出基本思想及公式推导过程。今特组成专栏，希望能帮到大家。http://blog.youkuaiyun.com/column/details/ml-ng-record.html

神经网络之激活函数(Activation Function)本博客仅为作者记录笔记之用，不免有很多细节不对之处。还望各位看官能够见谅，欢迎批评指正。更多相关博客请猛戳：http://blog.youkuaiyun.com/cyh_24如需转载，请附上本文链接：http://blog.youkuaiyun.com/cyh_24/article/details/50593400

协方差的定义 对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个例子说明协方差矩阵是怎么计算出来的吧。记住，X、Y是一个列向量，它表示了每种情况下每个样本可能出现的数。比如给定则X表示x轴可能出现的数，Y表示y轴可能出现的。注意这里是关键，给定了4

一、相关理论    白化这个词，可能在深度学习领域比较常遇到，挺起来就是高大上的名词，然而其实白化是一个比PCA稍微高级一点的算法而已，所以如果熟悉PCA，那么其实会发现这是一个非常简单的算法。    白化的目的是去除输入数据的冗余信息。假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的；白化的目的就是降低输入的冗余性。    输入数据集

BatchNormalization是神经网络中常用的参数初始化的方法。其算法流程图如下： 我们可以把这个流程图以门电路的形式展开，方便进行前向传播和后向传播： 那么前向传播非常简单，直接给出代码：def batchnorm_forward(x, gamma, beta, eps): N, D = x.shape #为了后向传播求导方便，这里都是分步进行的

版权声明：    本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言：    第二篇的文章中谈到，和部门老大一宁出去outing的时候，他给了我相当多的机器学习的建议，里面涉及到很多的算法的意义、学习方法等等。一宁上次给

版权声明：   本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。前言:   上次写过一篇关于贝叶斯概率论的数学，最近时间比较紧，coding的任务比较重，不过还是抽空看了一些机器学习的书和视频，其中很推荐两个：一个是stanford的machin

版权声明：    本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言：    上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解

参考自知乎作者：困兽 链接：https://zhuanlan.zhihu.com/p/22308032前言 (呕血制作啊！)前几天刚好做了个图像语义分割的汇报，把最近看的论文和一些想法讲了一下。所以今天就把它总结成文章啦，方便大家一起讨论讨论。本文只是展示了一些比较经典和自己觉得比较不错的结构，毕竟这方面还是有挺多的结构方法了。介绍 图像语义分割，简单而言就是给定一张图片，对图

转自:http://blog.youkuaiyun.com/polly_yang/article/details/9716591         在机器视觉领域，一个图像分析问题通常被定义为建模问题，图像分析的过程就是从计算的观点来求解模型的过程。一个模型除了可以表达成图形的形式外，通常使用一个目标函数来表示，因此建模的过程就是定义目标函数的过程，模型求解的过程也就是利用各种优化工具或者知识来解目标函

零、声明这是一篇失败的工作，我低估了batch normalization里scale/shift的作用。细节在第四节，请大家引以为戒。一、前言　　关于神经网络的作用有一个解释：它是一个万能函数逼近器。通过BP算法调整权重，在理论上神经网络可以近似出任意的函数。 　　当然，要近似出来的函数的复杂度肯定不能超过神经网络的表达能力，不然就会产生欠拟合的现象。而一个网络能承载

今年过年之前，MSRA和Google相继在ImagenNet图像识别数据集上报告他们的效果超越了人类水平，下面将分两期介绍两者的算法细节。　　这次先讲Google的这篇《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》，主要是因为这里面的思想比较有普适性，

前置阅读：http://blog.youkuaiyun.com/happynear/article/details/44238541——Batch Norm阅读笔记与实现前置阅读：http://www.zhihu.com/question/38102762——知乎网友Deep Learning与Bayesian Learning在很多情况下是相通的，随着Deep Learning理论的

reference: http://lib.youkuaiyun.com/article/deeplearning/57869?knId=1726摘要在训练YOLO v2的过程中，系统会显示出一些评价训练效果的值，如Recall，IoU等等。为了怕以后忘了，现在把自己对这几种度量方式的理解记录一下。 这一文章首先假设一个测试集，然后围绕这一测试集来介绍这几种度量方式的计算方法。大雁