
深度学习
文章平均质量分 64
hb_ma
这个作者很懒,什么都没留下…
展开
-
Cvt- Introducing Convolutions to Vision Transformers
原创 2021-07-12 17:54:22 · 404 阅读 · 0 评论 -
Automatic Weakly Supervised Object Detection From High Spatial Resolution Remote Sensing Images via
本文重点解决高空间分辨率遥感图像弱监督目标检测问题,其目的是在训练阶段学习只有图像级标注的检测器,即没有目标位置信息的检测器。虽然取得了令人满意的结果,但大多数方法往往不能提供高质量的初始样品,因此难以获得最佳的目标探测器。针对这一挑战,提出了一种动态课程学习策略,通过输入与当前检测能力相匹配的难度越来越大的训练图像,逐步学习目标检测器。为此,首先设计了一种基于熵的准则来评估图像中目标定位的难度。然后,生成一个初始课程,根据训练图像的难度升序排列训练图像,从中选择容易的图像,为学习目标检测器提供可靠的实例。原创 2021-04-11 11:48:05 · 289 阅读 · 0 评论 -
Vision Transformer 技术综述
搞懂 Vision Transformer 原理和代码,看这篇技术综述就够了(一):https://mp.weixin.qq.com/s/hn4EMcVJuBSjfGxJ_qM3Tw搞懂 Vision Transformer 原理和代码,看这篇技术综述就够了(二):https://mp.weixin.qq.com/s/ozUHHGMqIC0-FRWoNGhVYQ搞懂 Vision Transformer 原理和代码,看这篇技术综述就够了(三):https://mp.weixin.qq.com/s/d转载 2021-03-24 22:08:58 · 984 阅读 · 1 评论 -
UBUNTU nvidia驱动安装
参考:https://blog.youkuaiyun.com/qq_43030766/article/details/91382868转载 2020-12-20 00:21:08 · 194 阅读 · 1 评论 -
目标检测指标 查准率 AP 查全率 mAP Corloc
什么是IoU在目标检测算法中,我们经常需要评价2个矩形框之间的相似性,直观来看可以通过比较2个框的距离、重叠面积等计算得到相似性,而IoU指标恰好可以实现这样的度量。简而言之,IoU(intersection over union,交并比)是目标检测算法中用来评价2个矩形框之间相似度的指标IoU = 两个矩形框相交的面积 / 两个矩形框相并的面积,如下图所示:什么是TP TN FP FNTP、TN、FP、FN即true positive, true negative, false pos原创 2020-09-17 10:47:03 · 3264 阅读 · 0 评论 -
深度学习的“灾难性遗忘“
目前DNN的优点是可以建立输入输出之间非常复杂的映射关系,用于识别、分类和预测。但是一旦学习阶段结束,它所能做的操作就固化了,既难以方便的学习新的映射,也不能对实际环境中存在情境信息(比如自身状态,环境变化、任务变化等)做出灵活的响应,难以满足复杂多变的需求,即缺少情境依赖学习(contextual-dependent learning)的能力。一般而言,当前的DNN也受到“灾难性遗忘"问题的...原创 2019-08-20 16:33:04 · 1138 阅读 · 0 评论 -
深度学习 图像预处理
参考:https://blog.youkuaiyun.com/weixin_36612847/article/details/80900181vgg 预处理输入图片 height, widthRESIZE_SIDE_MIN = 256RESIZE_SIDE_MAX = 512R_MEAN = 123.68G_MEAN = 116.78B_MEAN = 103.94(该数字由数据集计算而来)...原创 2019-04-24 21:20:03 · 1543 阅读 · 0 评论 -
Gradient Harmonizing Mechanism
目标检测方法分为两大阵营,一类是以Faster RCNN为代表的两阶段检测的方法,一类是以SSD为代表的单阶段检测方法。两阶段方法在检测精度更出色,单阶段检测方法的Pipline则更简洁,速度更快,但是精度不如两阶段检测方法,一个原因是单阶段的检测方法受限于正负样本和简单困难样本的不均衡问题,导致训练效果不佳。为了解决这种不均衡的问题,有研究者提出了在线困难样本挖掘的方法(OHEM),但是这个...原创 2019-04-26 22:00:35 · 1290 阅读 · 0 评论 -
Region Proposal by Guided Anchoring
Region Proposal by Guided Anchoring相关链接论文地址:https://arxiv.org/abs/1901.03278概述众所周知,anchor策略是目标检测领域的基石。很多目标检测算法的高精度检测都依赖于密集的anchor策略,也就是在空间域上以预设的尺度和宽高比做均匀采样。但是,由于anchor策略产生大量冗余的anchor box,生成数目巨...原创 2019-03-31 22:50:38 · 221 阅读 · 0 评论 -
Focal Loss for Dense Object Detection
转载自:http://www.cnblogs.com/king-lps/p/9497836.html1. 总述Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重,也可理解为一种困难样本挖掘。2. 损失函数形式Focal loss是在交叉熵(Cross Entropy, CE)损失函数基础上...原创 2019-03-31 22:25:09 · 212 阅读 · 0 评论 -
2019CVPR Feature Selective Anchor-Free Module for Single-Shot Object Detection
转载自:https://blog.youkuaiyun.com/u014119694/article/details/88428707参考:https://zhuanlan.zhihu.com/p/58782838https://zhuanlan.zhihu.com/p/58508985提出了一种简单有效的单镜头目标探测器的特征选择无锚(FSAF)模块。它可以插入具有特征金字塔结构的单热探测器。F...转载 2019-04-03 21:30:44 · 461 阅读 · 0 评论 -
L2/L1正则化方法
L2/L1正则化方法,就是最常用的正则化方法,它直接来自于传统的机器学习。L2正则化方法如下:L1正则化方法如下:那它们俩有什么区别呢?最流行的一种解释方法来自于模式识别和机器学习经典书籍,下面就是书中的图。这么来看上面的那张图,参数空间(w1,w2)是一个二维平面,蓝色部分是一个平方损失函数,黄色部分是正则项。蓝色的那个圈,中心的点其实代表的就是损失函...原创 2019-03-20 11:04:24 · 676 阅读 · 0 评论 -
Global Average Pooling
转:https://blog.youkuaiyun.com/weixin_33982670/article/details/88156274GAP (Global Average Pooling)可用于模型微调,在做图像分类比赛时效果较好.最早在<<Network In Network>>中提出.在常见的卷积神经网络中,全连接层之前的卷积层负责对图像进行特征提取,在获取特征后,...原创 2019-05-22 17:34:16 · 544 阅读 · 0 评论 -
einsum:深度学习中的爱因斯坦求和约定
1.爱因斯坦求和约定PyTorch/TensorFlow中那些计算点积、外积、转置、矩阵-向量乘法、矩阵-矩阵乘法的函数名字和签名很费劲,那么einsum记法就是我们的救星。einsum记法是一个表达以上这些运算,包括复杂张量运算在内的优雅方式,基本上,可以把einsum看成一种领域特定语言。一旦你理解并能利用einsum,除了不用记忆和频繁查找特定库函数这个好处以外,你还能够更迅速地编写更加...原创 2019-07-12 17:36:08 · 1635 阅读 · 0 评论 -
cascade-RCNN
转载自:https://www.codercto.com/a/25258.html背景介绍通用目标检测是计算机视觉领域最广为关注的问题之一。尽管近年来自于CNN的目标检测算法较传统方法在准确率上取得的突飞猛进的进展,然而较目标分类问题而言依然还有很长一段路要走。早期的目标检测方法主要是由VJ框架所引领,其核心思想是在图像上枚举大量的滑动窗口,提取滑动窗口里的图像特征,通过级联分类器对滑窗进...转载 2019-07-12 21:19:06 · 629 阅读 · 0 评论 -
OutOfRangeError (see above for traceback): PaddingFIFOQueue '_1_get_batch/batch/...系列错误
错误 tensorflowOutOfRangeError (see above for traceback): PaddingFIFOQueue '_1_get_batch/batch/padding_fifo_queue'或OutOfRangeError (see above for traceback): PaddingFIFOQueue '_2_get_batch/batch...原创 2019-07-19 23:09:56 · 1324 阅读 · 0 评论 -
Making Convolutional Networks Shift-Invariant Again
Making Convolutional Networks Shift-Invariant Again摘要 现代卷积网络并不是位移不变(shift-invariant)的,因为小的输入移位会导致输出的剧烈变化。常用的降采样方法,如最大池化(max-pooling)、跨步卷积(strided-convolution)和平均池(average-pooling),忽略了采样定理(he...翻译 2019-08-20 23:22:34 · 614 阅读 · 0 评论 -
Continual learning of context-dependent processing in neural networks 神经网络中情境相关处理的连续学习
发表于Nature机器智能子刊近年来,由于当前深度学习面向应用的局限性,连续学习或者叫终生学习获得了很多的关注。摘要深度神经网络是学习复杂但固定的输入和输出之间映射规则的强大工具,因此限制了它们在更复杂和动态的情况下的应用,在这种情况下映射规则不是保持不变,而是根据不同的情景(上下文)变化。为了克服这些限制,我们开发了一种包含学习算法的方法,称为正交权值修改,并添加了情景相关的处理模块...翻译 2019-08-25 16:26:09 · 2618 阅读 · 1 评论 -
smooth L1 loss是什么以及为什么好
转载链接:https://www.jianshu.com/p/19483787fa24smooth L1 loss能从两个方面限制梯度:当预测框与 ground truth 差别过大时,梯度值不至于过大; 当预测框与 ground truth 差别很小时,梯度值足够小。考察如下几种损失函数,其中损失函数对 x 的导数分别为:观察 (4),当 x...转载 2019-08-29 17:45:05 · 3269 阅读 · 1 评论 -
DR Loss : Improving Object Detection by Distributional Ranking 解决类不平衡的最新力作
摘要大多数目标检测算法可以分为两类:两阶段检测器和单阶段检测器。对于两阶段探测器,区域建议阶段可以在第一阶段过滤大量的背景候选,并且使在第二阶段的分类任务更平衡。近年来,单阶段探测器因其结构简单、效率高而受到广泛关注。与两阶段探测器不同,单阶段探测器必须在一个阶段内从所有候选对象中识别出前景对象。这种体系结构是有效的,但在两个方面可能会遇到不均衡的问题:类的不均衡与背景分布的不均衡,只有少数候...翻译 2019-08-30 10:31:48 · 3062 阅读 · 0 评论 -
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks-ICML 2019 模型缩放的最新工作
最近,谷歌基于AutoML开发了EfficientNets,这是一种新的模型缩放方法。它在ImageNet测试中实现了84.1%的准确率,再次刷新了纪录。虽然准确率只比之前最好的Gpipe提高了0.1%,但是模型更小更快,参数的数量和FLOPS都大大减少,效率提升了10倍!程序:https://github.com/tensorflow/tpu/tree/master/models/off...翻译 2019-09-03 16:37:20 · 707 阅读 · 0 评论 -
GIOU----Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression
目前CVPR2019 accepted list已经放出,有些被录用的paper已经放在了Arxiv上,极市已将所有论文总结到github:https://github.com/extreme-assistant/cvpr2019,欢迎关注~今天介绍一篇object detection方面的文章。作者 | ywsun论文链接 |arxiv.org/abs/1902.0...原创 2019-03-15 20:48:55 · 939 阅读 · 0 评论 -
Weakly Supervised Deep Detection Networks 论文笔记
Weakly Supervised Deep Detection Networks 详细解读论文大致意思是通过图像级的标注信息训练网络达到目标检测的目的,文中采用的方法如下图所示:abstract :提出一种弱监督的深度检测架构,通过修改网络,只利用图像级别的标注,同时执行区...原创 2019-03-06 11:23:06 · 982 阅读 · 0 评论 -
BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结
转载自https://blog.youkuaiyun.com/liuxiao214/article/details/81037416深度学习是近几年最热的技术方向之一,但是在深度学习训练时一般都要用到归一化层,使其数据分布一致。1.综述1.1 介绍归一化层,目前主要有这几个方法,Batch Normalization(2015年)、Layer Normalization(2016年)、Inst...转载 2018-11-25 00:05:40 · 323 阅读 · 0 评论 -
covariate shift和Internal covariate shift
1.covariate shift在论文中经常碰到covariate shift这个词,网上相关的中文解释比较少。你可能会在介绍深度学习Batch Normalization方法的论文到中看到covariate shift这个词,并且所有看过这篇论文的或者实际做过工程的人,都知道BN这种归一化手段很好用,可以避免covariate shift那么covariate shift到底是什么?...原创 2018-11-24 23:53:03 · 1315 阅读 · 0 评论 -
Check failed: result[j]->width() == 8 (5 vs. 8)
将SSD设置设置新的输出,比如添加了data1~label1;会出现此错误,解决方法为layer { name: "silence" type: "Silence" bottom: "label1"}原创 2018-11-01 23:34:46 · 1167 阅读 · 0 评论 -
Caffe训练时出现了无数个"Train net output #....."
出现这个问题,证明没有将网络的某一层输入到下一层。有以下两种解决思路 1.如果是网络是错误,将该层接入到下一层就好。2.如果是网络设置无误,可以屏蔽掉输出(以con1_1为例)layer { name: "silence" type: "Silence" bottom: "conv1_1"} ...原创 2018-11-01 23:31:58 · 1487 阅读 · 0 评论 -
Check failed: error == cudaSuccess (8 vs. 0) invalid device function
caffe正常能用,但是运行过程中,报错Check failed: error == cudaSuccess (8 vs. 0) invalid device function。事实上,出现这种问题是编译时,显卡的计算能力没有设置好。按照自己的显卡修改Makefile.config的这个位置即可CUDA_ARCH := -gencode arch=compute_20,code=sm_...原创 2018-11-01 23:02:27 · 1626 阅读 · 2 评论 -
NVIDA CUDA显卡计算能力对应表
来自;https://developer.nvidia.com/cuda-gpus1) CUDA-Enabled Tesla Products Tesla Workstation ProductsGPU Compute Capability Tesla K80 3.7 Tesla K40 3.5 Tesla K20 3.5 Tesla C20...原创 2018-11-01 23:00:30 · 11021 阅读 · 1 评论 -
imagenet2012数据集 迅雷下载
大家可以去官网下载,但是官网一般需要注册,所以大家可以复制下面的连接到迅雷中,下载Imagenet数据集http://www.image-net.org/challenges/LSVRC/2012/nnoupb/ILSVRC2012_img_test.tarhttp://www.image-net.org/challenges/LSVRC/2012/nnoupb/ILSVRC...原创 2018-09-30 18:20:35 · 7399 阅读 · 2 评论 -
ubuntu16.04 gcc5.4编译器降低版本4.9
目前,ubuntu16.04的gcc编译器是5.4.0,然而CUDA8.0不支持5.0以上的编译器,有时候我们也会有gcc版本的需求,如运行faster-tcnn-tfde 程序时,会要求5以下的gcc版本,这是我们需要降低gcc的版本。命令执行如下sudo apt-get install g++-4.9sudo update-alternatives --install /usr/bi...原创 2018-09-21 22:04:34 · 1878 阅读 · 0 评论 -
Deep Neural Networks for Object Detection
转自:https://blog.youkuaiyun.com/u012420309/article/details/52763788采用的是AlexNet,不过稍作修改。原AlexNet网络:具体改进:1. 把最后一个层softmax改成a regession layer.predict a mask of a fixed size. 1代表this pixel lies withon...转载 2018-09-13 20:46:34 · 241 阅读 · 0 评论 -
全卷积网络 FCN 详解
文中参考:https://blog.youkuaiyun.com/nijiayan123/article/details/79416764https://www.cnblogs.com/gujianhan/p/6030639.html背景CNN能够对图片进行分类,可是怎么样才能识别图片中特定部分的物体,在2015年之前还是一个世界难题。神经网络大神Jonathan Long发表了《Fully ...原创 2018-12-19 20:34:32 · 853 阅读 · 0 评论 -
Grid R-CNN 翻译
Grid RCNN时候商汤的最新力作摘要本文提出了一种新的目标检测框架Grid R-CNN,该框架采用网格引导的定位机制进行精确的目标检测。与传统的基于回归的方法不同,网格R-CNN对空间信息进行了显式捕获,具有全卷积架构的位置敏感特性。为了减少特定点预测不准确的影响,我们设计了一个多点监督公式来编码更多的线索,而不是仅仅使用两个独立的点。为了充分利用网格中各点之间的相关性,提出了一种两阶...翻译 2018-12-19 22:12:44 · 1005 阅读 · 0 评论 -
Weakly Supervised Object Detection via Object-Specific Pixel Gradient
paper:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8333805简介:目前先有的弱监督目标检测方法大多将其作为一个多示例问题,产生候选区域,然后分类器判断类别的方式进行获得位置信息。本文作者利用图像梯度,提出了一种新的定位目标框的方式。1.在目标分类网络中,目标所在区域反映到特征上是显著的,基于这个出发点,...原创 2019-03-05 23:11:25 · 395 阅读 · 0 评论 -
Deep Self-Taught Learning for Weakly Supervised Object Localization
转载自:https://www.cnblogs.com/Xiaoyan-Li/p/9041747.html[CVPR2017] Deep Self-Taught Learning for Weakly Supervised Object Localization 论文笔记http://openaccess.thecvf.com/content_cvpr_2017/papers/Jie_D...转载 2019-03-02 11:34:57 · 265 阅读 · 0 评论 -
Global average Pooling
下面就介绍一下global average pooling这个概念出自于 network in network主要是用来解决全连接的问题,其主要是是将最后一层的特征图进行整张图的一个均值池化,形成一个特征点,将这些特征点组成最后的特征向量进行softmax中进行计算。举个例子假如,最后的一层的数据是10个6*6的特征图,global average pooling是将每一张...转载 2019-03-02 10:48:53 · 207 阅读 · 0 评论 -
SOFT_nms
文章转载自:https://blog.youkuaiyun.com/u014380165/article/details/79502197论文:Improving Object DetectionWith One Line of Code论文链接:https://arxiv.org/abs/1704.04503这篇ICCV2017的文章,是NMS算法的改进,从论文题目可以看出,改进仅仅花了一行代码...转载 2019-03-02 09:54:30 · 175 阅读 · 0 评论 -
Paper Read: Robust Deep Multi-modal Learning Based on Gated Information Fusion Network
Paper Read: Robust Deep Multi-modal Learning Based on Gated Information Fusion Network转载自:https://www.cnblogs.com/wangxiaocvpr/p/9377542.htmlRobust Deep Multi-modal Learning Based onGated Inform...转载 2019-03-01 21:48:28 · 633 阅读 · 0 评论 -
激活函数总结sigmoid,tanh,relu,Leaky ReLU,RRelu,ELU,PRelu,SELU,swish
本文总结深度学习的损失函数及其优缺点。激活函数是深度学习模型的重要成分,目的是将线性输入转换为非线性。常见的激活函数有sigmoid,tanh,ReLU等1.sigmoidSigmoid 非线性函数将输入映射到 【0,1】之间。它的数学公式为:历史上, sigmoid 函数曾非常常用,然而现在它已经不太受欢迎,实际很少使用了,因为它主要有两个缺点:函数饱和使梯度消失si...原创 2019-01-02 23:39:54 · 17164 阅读 · 1 评论