zwlq1314521的专栏

原文链接:http://www.cnblogs.com/jianxinzhou/p/4083921.html1. The Problem of Overfitting1还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随着房子面积增大，住房价

目标跟踪算法在本节中，我们将挖掘一些不同的跟踪算法。我们的目标不是对每一个跟踪器有深刻的理论理解，而是从实践的角度来理解它们。让我们首先先解释一下跟踪的一些基本原理。在跟踪中，我们的目标是在当前帧中找到一个对象，此对象已经在所有（或几乎所有）先前帧中成功被跟踪到了。由于我们已经跟踪对象直到当前帧，我们知道它是如何移动的。 换句话说，我们知道运动模型的参数。 运动模型指你知道的对象在之前

![常规的神经网络： 神经网络有一个输入，这个输入通常是一个向量，通过一系列的隐层转换为输出。这里的每个隐层都有一系列的神经元-neurons组成，每个neurons都与前一层所有的neurons相连接，而且这些神经元之间是独立的，并不共享连接。最后一层的全连接层称之为输出层，这个输出层代表了类别的得分。例如在cifar-10中，图像是32*32*3的格式，也就是图像宽高为32,32,3通道；这样

传统Sigmoid系激活函数传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。从数学上来看，非线性的Sigmoid函数对中央区的信号增益较大，对两侧区的信号增益小，在信号的特征空间映射上，有很好的效果。从神经科学上来看，中央区酷似神经元的兴奋态，两侧区酷似神经元的抑制态，因而在

记得之前去某东面试，面试官问我CNN的激活函数有哪些？我说：Relu/sigmoid /tanh问：有区别吗？我心想我只用过relu，至于区别我想应该是高效吧。问：为什？我真没细想过，后来面试完啦赶紧去巴拉巴拉，整理啦以下资料，果然，做学问，不仅仅要知道how，更要知道why整理笔记：激活函数的性质数据”经过一个神经网络时，经过卷积或池化等运算后，最终输出的一个

一.提出背景       在基于CNN的方法提升到一个很高的准确度之后，效率又成为人们所关注的话题，目前兼备准确度和效率的方法包括 SSD、YOLO v2，其检测效率通常能到达 30-100FPS，而这里面的代价就是上万块的显卡，这个代价是相当高的。当下视频获取设备（CCTV摄像头）成本通常是几百块，而采用上述分类算法，其成本可能是几千，这就是视频获取和视频分析之间的巨大鸿沟。 

我想让深度学习在实际产品中应用起来，可是模型太大，速度有些慢怎个搞~~~可喜的是有无数AI先锋奋勇战斗，为我们提出一些精彩绝伦的解决方案，下面总结下：卷积核方面：1.大卷积核用多个小卷积核代替忆往昔，最早AlexNet中用到了一些非常大的卷积核，比如11×11、5×5卷积核，之前人们的观念是，卷积核越大，receptive field（感受野）越大，看到的图片信息越多，因此获得的特征越

笔记来自 CS231n Winter 2016: Lecture 4: Backpropagation, Neural Networks 内容地址为：http://www.microsofttranslator.com/bv.aspx?ref=SERP&br=ro&mkt=zh-CN&dl=zh&lp=EN_ZH-CHS&a=http%3a%2f%2fcs231n.stanford.edu%2

代码是python tensorflow的，代码下载在这里点击打开链接主要有：应用主要有字符识别，fashion~~~这里记录下，慢慢看

object detection[NMS][非极大抑制]非极大抑制，是在对象检测中用的较为频繁的方法，当在一个对象区域，框出了很多框，那么如下图：上图来自这里目的就是为了在这些框中找到最适合的那个框，主要就是通过迭代的形式，不断的以最大得分的框去与其他框做iou操作，并过滤那些iou较大（即交集较大）的框按照github上R-CNN的matlab代码

Using Fast Weights to Attend to the Recent Past (https://arxiv.org/abs/1610.06258)Repo: https://github.com/ajarai/fast-weightsLearning to learn by gradient descent by gradient descen

译者注：本文翻译自斯坦福CS231n课程笔记ConvNet notes，由课程教师Andrej Karpathy授权进行翻译。本篇教程由杜客和猴子翻译完成，堃堃和李艺颖进行校对修改。原文如下内容列表：结构概述用来构建卷积神经网络的各种层卷积层汇聚层归一化层全连接层将全连接层转化成卷积层卷积神经网络的结构层的

今天周六，我要做一个上进的妈妈，所以学习了这篇深度好文，开始翻译~~~先把英文原版放出来，英文好的可以自行阅读   http://www.learnopencv.com/object-tracking-using-opencv-cpp-python/?winzoom=1在本教程中，给大家介绍基于opencv3.0的目标跟踪的API， 我们将学习如何以及何时使用OpenCV 3.

ensemble learning概念通过构建并结合多个学习分类器来完成学习任务.通常认为将多个分类器结合的学习,比单一分类器的学习要准确的多.要想得到好的集成分类器,一个是基分类器要有一定的准确性,至少不能随机扔硬币猜正反还离谱;其次要有多样性,也就是分类器间有差异性存在,这样才能保证泛化能力不至于太差.ensemble learning的分类依据基分类器的生成方式,

交叉验证是一种常用的模型选择的方法一般如果样本充足，会随机地将数据集切成三个部分，分别为训练集(用来训练模型)，验证集（用来模型的选择），测试集（用于最终对学习方法的评估）。1 简单交叉验证随机地将已知数据分为两部分，一部分用于训练，一部分用于测试，然后用训练集得到在各种条件下的训练模型，再在测试集上评估各个模型的测试误差，选出测试误差最小的模型。2 S折交叉验证S-fold

来自:http://johnhany.net/2016/05/from-qr-decomposition-to-pca-to-face-recognition/?utm_source=tuicool&utm_medium=referralPCA（Principal Component Analysis，主成分分析）是一种很常用的根据变量协方差对数据进行降维、压缩的方法。它的精髓在于尽量用最

转自 http://blog.youkuaiyun.com/abcjennifer/article/details/8164315和 http://blog.youkuaiyun.com/tianguokaka/article/details/9018933部分摘自其他博客，详见参考文献。1.CART（Classification And Regression Tree）      思想：

终于有时间在工作之余提升一下自己了，回顾一下学生时期的课程，深深的感觉到温故而知新的妙处~~巴拉到的好文，码住~~本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com 前言：    本来上一章的结尾提到，准备写

读书笔记多分类学习基本思想：拆解法；将多分类任务拆解为若干个二分类任务求解，先对这些问题经拆分，为拆分出的每个二分类任务训练一个分类器，测试时，对这些分类器的预测结果进行集成以获得最终的多分类结果，拆分策略：one vs one，一对一，将N个类别两两配对，产生，即N（N-1）/2个分类结果，最终结果通过投票产生，投票是把被预测的最多的类别作为最终分类结果。         One

2016年11月22日更新：深层神经网络为什么要deep（下）增加结合Tensorflow playground的5种空间操作和物质组成视角的理解。深层学习开启了人工智能的新时代。不论任何行业都害怕错过这一时代浪潮，因而大批资金和人才争相涌入。但深层学习却以“黑箱”而闻名，不仅调参难，训练难，“新型”网络结构的论文又如雨后春笋般地涌现，使得对所有结构的掌握变成了不现实。我们缺少一个对深

深层学习开启了人工智能的新时代。不论任何行业都害怕错过这一时代浪潮，因而大批资金和人才争相涌入。但深层学习却以“黑箱”而闻名，不仅调参难，训练难，“新型”网络结构的论文又如雨后春笋般地涌现，使得对所有结构的掌握变成了不现实。我们缺少一个对深层学习合理的认识。神经网络并不缺少新结构，但缺少一个该领域的E=mc2很多人在做神经网络的实验时会发现调节某些方式和结构会产生意想不到的结果。但

降维之PCA，FA，LLE

接着写数据降维算法。上一篇文章介绍了 PCA, Factor Analysis, LLE 等三个算法, 按照顺序这篇文章就该讲到 Laplacian Eigenmaps 了,但是作者认为直接讲 Laplican Eigenmaps 好像有点太干了, 不太容易理解, 请允许我夹带点私货, 先从 Graph Laplacian 开始讲起 (graph Laplacian 是 graph theor

kernel PCA: 讲它又不得不夹私货,kernel tricks。 相信大家对 kernel tricks 都不陌生,最直观的印象是它能把线性算法变成非线性, 深刻一点的理解是它自带样本空间映射功能, 可以把低维 feature 映射到高维:从 kernel method 的定义可以看出其实它在本质上还是算点积,不同的是首先要把 x 映射到新 的空间里,通过映射函数 , 但是 k

前面列举的例如LLE，Graph Laplician之类往往被称作局部模型。因为他们都只关注样本点跟邻居们的关系，比如 Local Linear Embedding看名字就知道它比较关系local information；类似地，Graph Laplician 中的D矩阵也是只是一个局部的信息，它只由顶点的度决定。那么这些局部模型会不会有 ”一叶障目而不见泰山“ 的风险呢？本篇文章我们重点讨论两个

l  BN（batch Normalization）What is BN通常在神经网络训练开始前,都要对输入数据做一个归一化处理Why BN？1.     提升泛华能力神经网络学习过程本质就是为了学习数据分布,一旦训练数据与测试数据的分布不同,那么网络的泛化能力也大大降低;2.     提高训练速度一旦每批训练数据的分布各不相同(batch 梯度下降),那么网络就要在每