circle的专栏

paddle detection的推理代码粗略学习

作者摘要BN是一个深度学习发展的里程碑，给多种网络训练赋能。但当batch变小，由于不准确的batch统计估计，BN的错误率会快速增加。这限制了BN在大模型的应用。本文提出Group Normalization（GN），作为BN的一个简单替换。GN将通道数分成多个组，在每个组计算均值和方差来归一化，计算独立于batch size，且在batchsize的大变化范围内性能稳定。在ImageNet训练的ResNet-50，batch size为2时GN的错误率比BN低10.6%；在batch size.

【CVPR2020】Rethinking Data Augmentation for Image Super-resolution: A Comprehensive Analysis and a New Strategy作者摘要数据增广能有效提升深度网络性能，本文对现有的超分数据增广进行了一套综合分析。对于图像重建，像素空间关系很重要。本文提出CutBlur，即将高/低分辨率patch剪切到对应位置，使得模型学习不止学习如何重建，还学习到重建的具体位置。本方法能提升性能，而且在一些low-lev

写的非常通俗易懂，深入浅出，厘清了很多基本概念。转载自：https://mp.weixin.qq.com/s/C2Gp6oTrv6U72ydIxTW0Mw我们都知道卷积的重要性，但你知道深度学习领域的卷积究竟是什么，又有多少种类吗？研究学者 Kunlun Bai 发布了一篇介绍深度学习的卷积文章，用浅显易懂的方式介绍了深度学习领域的各种卷积及其优势。如果你听说过深度学习中不同种类的卷积（比如 2D / 3D / 1x1 /转置/扩张（Atrous）/空间可分/深度可分/平展/分组/混..

转载自：http://www.cnblogs.com/happylion/p/4209570.html写的很详细，解释的很好，最近正在看UFLDL，在编程实现过程中有一些不明白的地方，对MATLAB用的也不是很熟练，这篇文章为我解决了很多困惑。在有监督学习中，训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合  ，其中  。自编码神经网络是一种无监督学

信号与系统中的卷积解释作者：张俊博链接：https://www.zhihu.com/question/22298352/answer/34267457来源：知乎著作权归作者所有，转载请联系作者获得授权。不推荐用“反转/翻转/反褶/对称”等解释卷积。好好的信号为什么要翻转？导致学生难以理解卷积的物理意义。这个其实非常简单的概念，国内的大多数教材却没有讲透。直接

转载自：http://www.cnblogs.com/jianxinzhou/p/4083921.html1. The Problem of Overfitting1还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随

UFLDL教程：http://ufldl.stanford.edu/wiki/index.php/UFLDL教程我用MATLAB完成的作业分享在github：https://github.com/SophieFeng/UFLDL-Tutorial-Exercise欢迎大家提出宝贵意见！

转载自：http://blog.youkuaiyun.com/stdcoutzyx/article/details/49022443开篇明义，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。dropout是CNN中防止过拟合提高效果的一个大杀器，但

转载自：http://www.cnblogs.com/skyme/p/4651331.html什么是熵(Entropy)简单来说，熵是表示物质系统状态的一种度量，用它老表征系统的无序程度。熵越大，系统越无序，意味着系统结构和运动的不确定和无规则；反之，，熵越小，系统越有序，意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化，组织化，复杂化

在caffe的训练过程中，大家难免想图形化自己的训练数据，以便更好的展示结果。如果自己写代码记录训练过程的数据，那就太麻烦了，caffe中其实已经自带了这样的小工具 caffe-master/tools/extra/parse_log.sh  caffe-master/tools/extra/extract_seconds.py和 caffe-master/tools/extra/plot_tra

转载自：https://buptldy.github.io/2016/10/01/2016-10-01-im2col/CNN中的卷积操作卷积层是CNNs网络中可以说是最重要的层了，卷积层的主要作用是对输入图像求卷积运算。如下图所示，输入图片的维数为[c0,h0,w0][c0,h0,w0] ；卷积核的维数为[c1,c0,hk,wk][c1,c0,hk,wk

多标签图像分类（Multi-label Image Classification）任务中图片的标签不止一个，因此评价不能用普通单标签图像分类的标准，即mean  accuracy，该任务采用的是和信息检索中类似的方法—mAP（mean Average Precision）。mAP虽然字面意思和mean  accuracy看起来差不多，但是计算方法要繁琐得多，以下是mAP的计算方法：首先用训

上学的时候，就一直很好奇，模式识别理论中，常提到的正则化到底是干什么的？渐渐地，听到的多了，看到的多了，再加上平时做东西都会或多或少的接触，有了一些新的理解。1. 正则化的目的：防止过拟合！2. 正则化的本质：约束（限制）要优化的参数。关于第1点，过拟合指的是给定一堆数据，这堆数据带有噪声，利用模型去拟合这堆数据，可能会把噪声数据也给拟合了，这点很致命，一方面会

转自：https://blog.youkuaiyun.com/u012177034/article/details/52144325机器学习的目的就是通过对训练样本输出与真实值不一致的进行惩罚，得到损失Loss，然后采用一定的优化算法对loss进行最小优化，进而得到合理的网络权值。本文介绍Caffe中含有的常见的LossLayer及其参数设置方法Caffe的LossLayer主要由6个：（1）Co...

转载自：http://blog.youkuaiyun.com/qll125596718/article/details/8426458在使用k近邻法进行分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决的方式进行预测。由于k近邻模型的特征空间一般是n维实数向量，所以距离的计算通常采用的是欧式距离。关键的是k值的选取，如果k值太小就意味着整体模型变得复杂，容易发生过拟合，即如果邻近的

转载自：http://blog.youkuaiyun.com/viewcode/article/details/8794401回归问题的条件/前提：1） 收集的数据2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。1. 线性回归假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。

1. LDA是什么   线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（FisherLinearDiscriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。   基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保

摘要： 深度学习可以完成需要高度抽象特征的人工智能任务，如语音识别、图像识别和检索、自然语言理解等。深层模型是包含多个隐藏层的人工神经网络，多层非线性结构使其具备强大的特征表达能力和对复杂任务建模能力。训练深层模型是长期以来的难题，近年来以层次化、逐层初始化为代表的一系列方法的提出给训练深层模型带来了希望，并在多个应用领域获得了成功。深层模型的并行化框架和训练加速方法是深度学习走向实用的重要基石，

Caffe自推出以来便成为了被广泛使用深度学习研究工具借助Caffe可以轻松训练用于识别、检测等不同人物的深度网络。ECCV‘14 Tutorial《DIY Deep Learning for Vision: a Hands-On Tutorial with Caffe》简要介绍了如何使用Caffe实现不同网络训练任务[/cp]

作者：张勇进，国家信息中心信息化研究部电子政务研究室副处长，国家信息中心网络政府研究中心主任助理;王璟璇，国家信息中心信息化研究部助理研究员，北京100045　　doi:10.3782/j.issn.1006-0863.2014.12.24　　　　[摘要]通过对国外政府大数据政策的调研，构建了政府大数据政策比较研究框架，并分别从战略规划、技术能力提升政策、应用与管理政策三个层面比较

所谓聚类，就是将相似的事物聚集在一起，而将不相似的事物划分到不同的类别的过程，是数据分析之中十分重要的一种手段。比如古典生物学之中，人们通过物种的形貌特征将其分门别类，可以说就是一种朴素的人工聚类。如此，我们就可以将世界上纷繁复杂的信息，简化为少数方便人们理解的类别，可以说是人类认知这个世界的最基本方式之一。      在数据分析的术语之中，聚类和分类是两种技术。分类是指我们已经知

先验概率与后验概率事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. 事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率.一、先验概率是指根据以往经验和分析得到的概率，如全概率公式，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，如贝叶斯公式中的，是“执果寻因”问题中的“因”。先验概率与后验概率有

生成模型与判别模型（文章写得很易懂，所以转载过来，以下是原作者博客）zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09       一直在看论文的过程中遇到这个问题，折腾了不少时间，然后是下面的一点理解，不知道正确否。若有错误，还望各位前辈不吝指正，以免小弟一错再错。在此谢过。 一、决策函数Y=f(X)或

先验（A priori；又译：先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较，后验意指“在经验之后”，需要经验。这一区分来自于中世纪逻辑所区分的两种论证，从原因到结果的论证称为“先验的”，而从结果到原因的论证称为“后验的”。    先验概率是指根据以往经验和分析得到的概率，如全概率

回归问题的条件/前提：1） 收集的数据2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。1. 线性回归假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性

1 基本概念1）定义梯度下降法，就是利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。 最速下降法的一种简单形式是：x(k+1)=x(k)-a*g(k),其中a称为学习速率，可以是较小的常数。g（k）是x(k)的梯度。梯度其实就是函数的偏导数。2）举例对于函数z=f(x,y)，

转载自：http://www.cnblogs.com/LeftNotEasy/archive/2010/08/29/1812101.html 博主是位牛人，也推荐他的其它博文。概率论只不过是把常识用数学公式表达了出来。——拉普拉斯记得读本科的时候，最喜欢到城里的计算机书店里面去闲逛，一逛就是好几个小时；有一次，在书店看到一本书，名叫贝叶斯方法。当时数学系的课程还没有

最近在做Script Identification（SI），目标是中、英、维文的场景文本行分类，尝试使用HOG+SVM进行中/英分类。转载自：http://www.cnblogs.com/hrlnw/archive/2013/08/06/2826651.htmlHistogram of Oriented Gridients，缩写为HOG，是目前计算机视觉、模式识别领域很常用

转载自：http://blog.youkuaiyun.com/jia20003/article/details/52142992在二值图像处理特别是OCR识别与匹配中，都要通过对字符进行细化以便获得图像的骨架，通过zhang-suen细化算法获得图像，作为图像的特征之一，常用来作为识别或者模式匹配。一：算法介绍Zhang-Suen细化算法通常是一个迭代算法，整个迭代过程分为

什么是半监督学习?传统的机器学习技术分为两类，一类是无监督学习，一类是监督学习。无监督学习只利用未标记的样本集，而监督学习则只利用标记的样本集进行学习。但在很多实际问题中，只有少量的带有标记的数据，因为对数据进行标记的代价有时很高，比如在生物学中，对某种蛋白质的结构分析或者功能鉴定，可能会花上生物学家很多年的工作，而大量的未标记的数据却很容易得到。这就促使能同时利用标记样本