yj_isee的博客

Min Bai & Raquel Urtasun UfT1. 传统的分水岭算法简介图像处理中的分水岭算法常用来做图像区域分割(segmentation)，基本的思路是计算一张energy map来表示图像，其中物体区域的energy和其他非物体区域的energy差别较大，从而形成包络物体的分水岭，称包络线为watershed line，称物体区域为catchment basins...

1. 问题描述最近尝试将目标检测模型集成到ROS上，运行环境为Ubuntu 16.04 + ROS Kinetic 目标检测模块写成了一个node，监听其他node发送过来的图像信息，对接收的图像进行目标检测。测试代码如下所示：class DetectorNode(object): def __init__(self): # detection model p...

ECCV2018 TsingHua University && Face++ Zeming Li1. Motivation当前的目标检测模型，不管是one-stage还是two-stage，都是采用的ImageNet分类数据集上预训练的分类模型来在检测数据集上fine-tune。但是分类模型应用到检测任务的主要问题是： 分类模型为了提高分类的准确率，通过很多次do...

前言最近需要用到COCO的matlab api，但是github上的master分支最近删除了maskApi.mexa64文件。一种方法当然是找找别人原来fork的cocoapi，我想自己编译生成。编译器准备编译的时候需要用到mex，但是matlab 2016b支持的gcc编译器是4.9.x，而ubuntu 14.04的gcc版本是4.8.x。因此需要首先下载一下gcc 4.9 具体...

1. 前言mxnet官网上的mxnet安装指令好像有点多，而且没有anaconda下mxnet的安装步骤（virtualenv和anaconda应该差不多，但是我从来没用过）。这里稍微记录一下自己的安装过程，比较简单。2. 安装环境我的安装环境是Ubuntu14.04+Anaconda+CUDA8.0 安装的mxnet版本为1.2.03. 安装步骤3.1 创建mxnet虚拟环...

0.前言因为我用的是tensorflow的环境，所以Rbg的官方代码我是没有用的，采用的是github上tensorflow实现的faster rcnn，网址为：https://github.com/endernewton/tf-faster-rcnn 这个版本主要也是参考faster rcnn的官网代码写的，和官方版本大同小异，很适合用tf的人。如果github上下不下来，可以下载我自己保

0.前言因为yolo的作者不断更新自己的版本，让人使用和修改起来很不方便。因此这里保存一个自己的版本，并记录如何在自己的数据集上训练正框检测模型。1.YOLOv2代码备份：备份地址：https://pan.baidu.com/s/1qZW8glY2.修改文件：voc.data文件：修改’classes’为待检测的类别数（不包括背景），修改’train’为‘train.tx

MSRA jifeng dai1.abstract:在目标检测领域，model object之间的关系能够提高检测的准确度，但是这种方法在基于深度学习的模型中还没有很好的work。当下主流的目标检测的方法还是对各个物体进行单独的检测，本文提出了一种object relation module，通过引入不同物体之间的外观和集合关系做interaction，实现对物体之间relation的建模。rela

ICCV 20171.Motivation:为了做到实时的目标检测和语义分割 2.Framework 采用的是Resnet50+SSD, ssd这种one-stage的检测器天生适合和分割一块做。上采样过程用到的block如下图所示，除了正常的skip connection之外，还用上了residual connection 3.Experiments作者在VOC2007/2012以及COCO

中科院nlpr实验室 ICCV20171.Motivation这篇文章主要是在R-FCN的基础上改的。其主要的观点就是R-FCN可以看成是对一个proposal，用一些position-sensitive的weak classifier去做检测，然后把这些classifier的检测结果ensemble起来（position-sensitive RoI pooling），因此作者指出这张方法没有考虑到

FAIR. ICCV2017 Oral Kaiming He & RBG1.Motivation一直以来，one-stage detector都以快著称，yolo刚发布的时候表明了是主打速度的，但是这些one-stage detector的精度要比two-stage detector，比如faster rcnn差不少。本文的目的就是为了探讨为什么one-stage detector相比two-sta

CVPR 2017 Best PaperMotivation:最近的一些卷积神经网络都证实了在网络当中加入short connection能够让网络更深、更准确、更高效， 另一方面，最近的一些resnet的变种往往可以用更浅层的模型达到和深层的模型差不多的性能，这些充分说明了现有的卷积神经网络学习得到的很多特征都是冗余的。作者的想法是充分利用skip connection，设计一个dense co

BMVC 2017 oral code: https://drive.google.com/drive/folders/0By2w_A-aM8Rzbllnc3JCQjhHYnM1.Motivation作者这篇文章的主要目的是为了提高semantic segmentation的网络对于confusion area的预测能力。所谓的confusion area，指的是最终预测的score map上熵值

BMVC 2017 OralAbstract文章指出当前的object detector大都用正框来表征一个object，尽管大多数的object都是non-rectangular的。作者提出的模型能够通过deformable parts来表述一个object。这样的话得到的特征对于物体的形变更加具有鲁棒性，并且能够part的位置信息能够提高目标定位的准确性。Contribution:1.提出了de

CVPR 2017 孔涛..HyperNet作者0.Motivation结合region-based的目标检测方法和region-free的目标检测方法。 主要关注两个问题： 1）多尺度目标定位 2）负样本挖掘1.Contribution1）对于多尺度定位，作者提出了reverse connection，类似FPN，增强了low level feature map的语义信息，提高了小目标检测

Google Research0.abstract本文主要对主流的三类object detector进行了speed-accuracy trade-off上的比较。 作者考虑三类”meta-architectures”：faster rcnn 、r-fcn以及ssd faster rcnn和r-fcn是region-based detector，不同的是，faste rcnn里面box clas

Deeplab v31.Contribution:这篇论文和deeplab v2相比，contribution不多，主要是在原来的ASPP模块里面加入了bn，同时引入加入了global context来提高ASPP模块的性能。2.Related work文章主要还是专注于图像多尺度信息的提取，作者总结了目前流行的4中多尺度信息提取的方法，如下图所示： 第一种用图像金字塔作为输入； 第二种采用

CVPR2017 by Yuliang Liu & Lianwen Jin1.Motivation对于自然文本的检测任务，原来的方法都专注于用矩形框来对文本进行定位。但是实际上因为文本图像存在透视变换等等问题，图像里面的自然文本并不是严格地呈现矩形的。这个时候用矩形框来定位的话会有以下问题： 左边表示用四边形定位的结果，右边表示用矩形定位的结果。 (a)表示用矩形定位会引入不必要的overlap

arxiv 23/1/2017SSD作者Wei Liu的新作Motivation通过增加context的信息来提高目标检测的准确率是一个常见的方法，在SSD当中，作者没有利用到context的信息，因此，作者在DSSD里面尝试通过加入context来改善SSD的性能Framework 上图表示SSD的基本结构，采用的是VGG作为base network，后来有作者新加的SSD layer，然后在选

arxiv 20171.Motivation本文关注的是weakly supervised localization。 基本流程如上图所示，输入的是只有Image-level的标签，首先要从数据集里面提取一些initial patterns，然后利用这些initial pattern来训练detector。 这其实是一个典型的鸡和蛋的问题：我们要训练一个好的detector，就必须提供dis

Google DeepMindAbstract:作者说明了CNN对于输入的数据缺乏空间变换不变形(lack of spatially invariant ability to input data)，因此作者引入了一个spatial transformer module，不需要额外的监督，能够以data-driven的方式学习得到输入图像的空间变换参数，赋予网络spatial invariant能力

ICCV 2015 UCLAAbstract从图像中分割出物体并把他们分解成各自的semantic part是CV中detailed object understanding的基础。作者在这篇论文中提出了一种joint semantic object and part segmentation的方法。通过利用object-level的信息来引导part segmentation，同时part seg

Abel Gonzalez-Garcia arxiv 28/3/2017Abstract本文提出了一种利用object context信息的part detection的方法。作者主要用到了三种object-level的信息：object class–object appearance–relative location of parts in objects 其中object class以及ob

arxiv 30/3/2017Abstract作者在这篇文章当中把目标检测问题formulate成估计一个非常大但是很稀疏的概率分布，变量就是所有可能的bounding box，一张输入图像对应的bounding box空间很大，概率P就是bounding box属于各个类别的概率。因为只有极少一部分的bounding box里面是有物体的，因此这个P是稀疏的。只在一些特定的bounding box

本文主要参考（大部分翻译）自论文《An Overview of Gradient Descent Optimization Algorithm》3.Challenge通常来说，mini-batch gradient descent算法在应用的时候，会有以下一些问题需要考虑： 1. 如何选择一个合适的学习率 2. 如何在训练的时候调整学习率 3. 所有的参数能不能不要都用相同的学习率更新 4.

arxiv 3/17/20171.Abstraction文章一开始就说到：卷积神经网络因为卷积核的几何形状是固定的，对几何变换的模拟能力受限。因此，本文中作者引入了两个新的module，来增强网络对于几何变换的建模能力，分别是deformable convolution和deformable roipooling. 基本的思想就是用带偏移的采样代替原来的固定位置采样，而且这个偏移量是可以通过学习得到

主要参考https://zhuanlan.zhihu.com/p/25110930问题描述今天在用yolo训练自己的数据集的时候，一开始训练过程中的loss还很正常地在下降。结果到了几个个batch的地方突然就出现loss = nan的情况。其实到现在自己也没有发现到底是什么导致了nan，但是参考上面这篇文章，至少暂时解决了这个问题。解决过程1)首先检查了代码是不是对的。一般出现nan，第一反应是：

arxiv 2017/3/20 KaiMing He & Rbg1.ContributionPropose a general instance segmentation method called Mask-RCNN, which extends Faster R-CNN by adding a branch for predicting an object mask in parallel w

收录于CVPR2161.Abstract作者指出了region-based的分类器的训练过程当中有很多超参数需要调节，这样使得训练过程很复杂。因此他们提出了一种online hard example mining的方法，可以在训练的过程中自动选择那些hard example加入训练，这样使得训练更加有效和快速，同时能提升网络的性能。2.Introduction作者指出了object detectio

收录于CVPR20161.Contribution本文主要关注目标检测过程中的上下文信息以及多尺度信息两个方面，提出了Inside-Outside Net: Inside Net: 采用skiping pooling的方式连接不同卷积层输出的feature map，实现多尺度特征的融合 Outside Net: 采用IRNN的结构，整合contextual infomation Perform

收录于CVPR2016关于全连接层不能保持spatial information的理解 相比全连接层，卷积层是一个spatial-operation，能够保持物体的空间信息(translation-variant)。比如一个物体原来在左上角，卷积之后的结果feature-map在左上角的激活值大。如果这个物体移动到右下角，那么卷积之后的feature-map同样会在右下角的激活值比较大。但是对于

收录于IEEE Transactions on Pattern Analysis and Machine Intelligence 20151.Background&Motivation论文的背景是Fast/Faster R-CNN成为当时的检测精度最高的框架，同时Resnet刚发表不久，这个时候，基于回归模型的目标检测框架还没有发表。作者在论文一开始的时候提出了，基于region propos

一：一些评价指标对于cv领域来说，常使用以下指标表示评价一个检测或者分类方法的好坏 Precision: precision for a class is the number of true positives (i.e. the number of items correctly labeled as belonging to the positive class) divided by th