yewei11的专栏

统计学的基本概念学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合X={X1,……Xn}，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。 很显然，均值描述的是样本集合的中间点，它告诉我们的信息是很有限的，而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，[0，

转自：http://www.cnblogs.com/kemaswill/p/3266026.html1. 多层神经网络存在的问题    常用的神经网络模型, 一般只包含输入层, 输出层和一个隐藏层：         理论上来说, 隐藏层越多, 模型的表达能力应该越强。但是, 当隐藏层数多于一层时, 如果我们使用随机值来初始化权重, 使用梯度下降来优化参数就会出现许多

（EM算法）The EM Algorithm      EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式      回顾优化理论中的一些概念。设f是定义域

深度学习史上最全总结（文末有福利）2015-07-10张德兵  格灵深瞳 收藏，稍后阅读已收藏 深度学习（Deep Learning），这是一个在近几年火遍各个领域的词汇，似乎所有的算法只要跟它扯上关系，瞬间就显得高大上起来。但其实，从2006年Hinton在Science上的论文算起，深度学习发展至今才不到十年。四大金刚镇楼

深度学习系列Part2：迁移学习和微调深度卷积神经网络2016-08-30 16:28:36    深度学习   卷积神经网络   0 0 0本文是微软数据科学家 Anusua Trivedi 所写的《Deep Learning》系列文章的第二部分，是对迁移学习和微调深度卷积神经网络的介绍。机器之心此前也已经编译了该系列的第一部分，详情点击《五大主流深度学习框架

分布式深度学习：神经网络的分布式训练2016-10-09 14:05:04    深度学习   神经网络  http://www.jiqizhixin.com/article/1611 0 0 0本文编译自 Skymind 的技术博客，作者是深度学习工程师 Alex Black 和 Vyacheslav Kokorin。按照计划，《Distributed Dee

来源：新智元【新智元导读】DeepMind 今天发表官博介绍了他们的两篇最新论文，称其都在理解“关系推理”这一挑战方面展示出了令人可喜的结果。一个是视觉互动网络 VIN，能够预测视觉场景中各个物体在未来几百步所处位置，另一个则是模块化的、具有关系推理能力的深度神经网络架构 RN，可以“即插即用”，提升其他深度神经网络结构（如 CNN）关系推理的能力。在李飞飞等人提出的图像理解数据集 C

原文地址：http://blog.youkuaiyun.com/hanzihan123/article/details/23707143版主不让转啊，不过太好啦，不转怕找不到啦！前言：Deep Learning （DL深度学习）是近几年来最火的一种机器学习方法，由Hinton（多伦多大学）提出。主要有两分支：Geoffery Hinton和Joshua Bengio这一支用RBM组成d

转自  佩服 量子位李林 问耕 编译自 Arxiv  量子位 出品 | 公众号 QbitAI最近，Google又在论文题目上口出狂言：One Model To Learn Them All，一个模型什么都能学。非营利研究机构OpenAI的研究员Andrej Karpathy在Twitter上评论说，Google在把自己整个变成一个大神经网络的路上，又前进了一步。

版权声明：本文为博主原创文章，转载请注明出处。文章太好了，怕丢!，转自xf_mao的：http://blog.youkuaiyun.com/mao_xiao_feng/article/details/53444333tf.nn.conv2d是TensorF

转自：http://www.cnblogs.com/kemaswill/p/3203605.html受限玻尔兹曼机(Restricted Boltzmann Machine,简称RBM)是由Hinton和Sejnowski于1986年提出的一种生成式随机神经网络(generative stochastic neural network)，该网络由一些可见单元(visible unit，对应

Sparsity 是当今机器学习领域中的一个重要话题。John Lafferty 和 Larry Wasserman 在 2006 年的一篇评论中提到：Some current challenges … are high dimensional data, sparsity, semi-supervised learning, the relation between computat

再谈协方差矩阵之主成分分析发表于 2011-02-24   |   颖风转自：http://pinkyjie.com/2011/02/24/covariance-pca/自从上次谈了协方差矩阵之后，感觉写这种科普性文章还不错，那我就再谈一把协方差矩阵吧。上次那篇文章在理论层次介绍了下协方差矩阵，没准很多人觉得这东西用处不大，其实协方差矩阵在好多学科里都有很重要的作用

自今年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人交流，互有增益。正文之前，先说几点自己对于CNN的感触。先明确一点就是，Deep Learning是全部深度学习算法的总称，CNN是深度学习算法在图像处

CNN卷积神经网络应用于人脸识别（详细流程+代码实现）作者：wepon   出处：wepon的博客本文主要讲解将CNN应用于人脸识别的流程，程序基于python+numpy+theano+PIL开发，采用类似LeNet5的CNN模型，应用于olivettifaces人脸数据库，实现人脸识别的功能，模型的误差降到了5%以下。本程序只是个人学习过程的一个toy implement，样本很小，模

目录(?)[+]本文假设大家都知道什么叫条件概率了（P(A|B)表示在B事件发生的情况下，A事件发生的概率）。先验概率和后验概率教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。堵车的概率就是先验概率 。那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们

【此文介绍了贝叶斯公式】现在举一个例子说明怎么使用贝叶斯公式来做决策。例子：假设有100个人，每个人都有自己的生日。1年有12个月，假设这100个人的生日从1月到12月的人数的分布情况如下： 3     4     5     7    10    13    14    15    12     8     5     4那么1月到12

转过来吧，可以加点东西Softmax回归Contents [hide]1 简介2 代价函数3 Softmax回归模型参数化的特点4 权重衰减5 Softmax回归与Logistic 回归的关系6 Softmax 回归 vs. k 个二元分类器7 中英文对照8 中文译者简介在本节中，我们介绍Softmax

今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。      监督机器学习问题无非就是“minimizeyour error while regula

Deep learning：十九(RBM简单理解) 　　这篇博客主要用来简单介绍下RBM网络，因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成，所以对RBM的理解有利于我们对DBN算法以及deep learning算法的进一步理解。Deep learning是从06年开始火得，得益于大牛Hinton的文章，不过这位大牛的文章比较晦涩难懂，公式太多，对于

博主不让转载只能链接了，好的东西怕自己找不到了。http://blog.youkuaiyun.com/xianlingmao/article/details/7768833

浅谈协方差矩阵发表于 2010-08-31   |    颖风今天看论文的时候又看到了协方差矩阵这个破东西，以前看模式分类的时候就特困扰，没想到现在还是搞不清楚，索性开始查协方差矩阵的资料，恶补之后决定马上记录下来，嘿嘿~本文我将用自认为循序渐进的方式谈谈协方差矩阵。统计学的基本概念学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。

在调试程序的时候碰到这个问题，显卡内存不够，分析原因主要有两个：1， batch_size太大，内存不够。2，显卡内存被别的程序占用没有退出，可以在后台查看占用线程并终止。