Hibercraft-优快云博客

原创极简笔记 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

极简笔记 An Image is Worth 16x16 Words: Transformaers for Image Recognition at Scale原文地址https://arxiv.org/abs/2010.11929本文是第一篇将Transformer结构运用在图像分类任务的paper，方法叫做ViT(vision transformer)做法也非常的简单，把输入图片切成多个patch，然后将各个patch拉成向量加上position embedding输入到transformer结

2021-03-22 21:04:42 916

原创极简笔记语义分割中的self-attention变种模型

极简笔记语义分割中的self-attention变种模型Self-attention模块在近年来取得了比较不错的成功，其核心公式就是：yi=1C(x)∑∀jf(xi,xj)g(xj)y_i=\frac{1}{\mathcal{C}(x)}\sum_{\forall j}f(x_i,x_j)g(x_j)yi=C(x)1∀j∑f(xi,xj)g(xj)与以往的卷积网络项目，self...

2019-08-31 16:34:12 2071

原创极简笔记多篇weakly supervised segmentation笔记

极简笔记多篇weakly supervised segmentation笔记Backtracking ScSPM Image Classifier for Weakly Supervised Top-down Saliency文章主要思想是通过遮挡部分区域，观察分类confidence的改变来决定pixel-level的预测。文章没有使用CNN结构，而是使用SIFT特征+稀疏编码+SVM进...

2019-01-18 15:43:00 4106

原创极简笔记 From Image-level to Pixel-level Labeling with Convolutional Networks

极简笔记 From Image-level to Pixel-level Labeling with Convolutional Networks本篇文章是2015年的一篇依赖image-level标注的语义分割弱监督文章。文章主要流程是先让图片经过一个普通CNN，得到一个score map（相当于分割网络最后的预测结果，几个类别就几个channel），然后将每个类别的score进行集合，这里作...

2019-01-07 16:04:26 1986

原创极简笔记 The Lovasz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-un

极简笔记 The Lovasz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks本文提出一种Lovasz-Softmax loss，专门正对分割任务的评价指标IoU进行优化设计。由于本文涉及到的数学概念超出所学知识，因...

2019-01-04 23:20:40 9310 5

原创极简笔记 Multi-Scale Context Intertwining for Semantic Segmentation

极简笔记 Multi-Scale Context Intertwining for Semantic Segmentation本文提出MSCI语义分割算法，在PASCAL VOC 2012 test集上目前是top5算法（第一名是用了JFT的deeplabv3+）。区别于传统FCN架构，本文的分割结果融合了网络特征与传统分割算法，通过LSTM进行融合。文章大致流程如下：利用传统分割算法预...

2018-12-06 23:00:12 1855

原创极简笔记 A Variational U-Net for Conditional Appearance and Shape Generation

极简笔记 A Variational U-Net for Conditional Appearance and Shape Generation本文利用条件变分自编码器（CVAE），输入一张人体图片和目标姿态，生成目标姿态的合成人体图片，并保留原图的appearance信息。记输入图片xxx, 姿态信息yyy, 表观信息zzz, 网络结构如下图：VAE部分通过输入图像和图像中对应姿态学习a...

2018-11-28 16:49:10 1928

原创极简笔记 A Survey on Transfer Learning

极简笔记 A Survey on Transfer Learning论文地址：https://ieeexplore.ieee.org/document/5288526/本文是香港科技大学杨强教授最出名的迁移学习survey。文章发表于2010年，对深度学习时代之前的传统迁移学习方法进行了总结归纳。本篇笔记侧重结合survey观点（并非原文翻译），梳理迁移学习概念，文章涉及的相关算法请阅读原...

2018-08-20 20:38:50 1096

原创极简笔记 CornerNet: Detecting Objects as Paired Keypoints

极简笔记 CornerNet: Detecting Objects as Paired Keypoints论文地址：https://arxiv.org/abs/1808.01244文章核心提出利用关键点定位方式定位物体bbox的左上角点和右下角点，从而完全摆脱利用anchor提取proposal的two stage检测框架。文章使用网络结构如图所示，首先使用hourglass作为b...

2018-08-13 21:27:38 5496 1

原创极简笔记 AlphaPose

极简笔记 RMPE: Regional Multi-Person Pose Estimation论文地址：https://arxiv.org/abs/1612.00137本篇是上交AlphaPose文章，采用自上而下方法，目前是state-of-art，比face++在COCO2017中champion模型高了0.2个百分点。文章使用网络的主要架构是先RPN检测人体，然后对ROI经...

2018-07-26 21:34:24 5447

原创极简笔记 Unsupervised Discovery of Object Landmarks as Structural Representations

Unsupervised Discovery of Object Landmarks as Structural Representations本文的核心是提出一种无监督的方法检测物体的关键点。这个具有语义性质的关键点不是人为定义的而是自动学得的。文章主要思路是利用autoencoder模型，在中间部分添加各种loss约束引导检测的关键点heatmap的生成。主要架构见上图，encod...

2018-07-23 09:34:49 1127

原创极简笔记 segmentation + transfer learning survey第二弹

极简笔记 segmentation + transfer learning survey第二弹@(academic)[极简笔记]Deep Extreme Cut: From Extreme Points to Object Segmentation本文的思路非常简单，标注分割对象的极点（最上方点，最下，最左，最右），生成4 channel的极点位置高斯响应图，与输入图片concat...

2018-07-23 09:33:51 1904

原创极简笔记 Weakly Supervised Instance Segmentation using Class Peak Response

极简笔记 Weakly Supervised Instance Segmentation using Class Peak Response本文是一篇弱监督的工作，利用分类网络做实例分割任务。主要思路是利用网络输出的响应图，取局部极大值之后反向计算（这个过程中分辨率也在变大），得到与这个局部极大值相关的区域信息，再结合类别信息等，从利用传统算法求出的segmentation mask里面进行打...

2018-07-14 14:52:21 4504

原创极简笔记 Instance Segmentation Survey

极简笔记 Instance Segmentation Survey本篇包含多篇实例分割论文笔记，因为大多都是较为早远的论文，因此每篇笔记奉行极简原则，在叙述大意的同时，尽量缩短篇幅。Instance-aware Semantic Segmentation via Multi-task Network Cascades (MNC)Jifeng Dai, Kaiming He较早的实例分割...

2018-07-08 23:59:40 2637

原创极简笔记 Taskonomy: Disentangling Task Transfer Learning

极简笔记 Taskonomy: Disentangling Task Transfer Learning论文地址：https://arxiv.org/abs/1804.08328本文是CVPR2018 best paper，核心是提出了一种计算不同任务相似性的方法，以及利用不同任务相似性，在少量训练数据条件下进行多任务组合学习的分配方法。文章的终极目标，是通过计算任务相似性，进一步计算...

2018-07-04 17:15:59 4823

原创极简笔记 DeepLab系列比较

极简笔记 DeepLab系列比较之前有写deeplabv3+的论文笔记，因为最近要写调研报告，就大致浏览了deeplab系列的论文，了解发展过程。本篇包含了很多其他笔记的摘要，会在最后列出。DeepLabv1：https://arxiv.org/pdf/1412.7062v4.pdf 首次提出atrous conv和网络最后加CRF的操作。 - 主要是对原有VGG网络进行了一些变换...

2018-07-03 23:43:18 1599

原创极简笔记 Context Encoding for Semantic Segmentation

极简笔记 Context Encoding for Semantic Segmentation论文地址：https://arxiv.org/abs/1803.08904文章核心贡献提出EncNet结构用于语义分割。其中主要有两点改进，在encoder-decoder结构最深层处加入context encoding module，同时引入SE-loss计算全图分类误差。 context...

2018-06-18 14:39:20 4485

原创极简笔记 Pyramid Attention Network for Semantic Segmentation

极简笔记 Pyramid Attention Network for Semantic Segmentation本文核心提出PAN，提出Feature Pyramid Attention module（FPA）和Global Attention Upsample module（GAU），引入注意力机制用于语义分割。文章认为现有分割ASPP模型会导致grid artifact；以及pyr...

2018-06-16 10:14:34 9749 4

原创极简笔记 Fully Convolutional Adaptation Networks for Semantic Segmentation

极简笔记 Fully Convolutional Adaptation Networks for Semantic Segmentation文章核心贡献，提出FCAN，探究利用GTA5游戏数据集来训练语义分割网络，并将此网络迁移到真实路况场景下进行测试。 FCAN分为两部分，Appearance Adaptation Networks（ANN）和Representation Adapta...

2018-06-15 14:38:13 2792

原创极简笔记 Residual Attention Network for Image Classification

极简笔记 Residual Attention Network for Image Classification论文地址：https://arxiv.org/abs/1704.06904文章核心贡献，提出残差注意力模块结构，提升在ImageNet分类问题上的性能。 Attention机制听起来很玄乎，在这儿其实很简单，就是feature map多出一个分支去预测权重mask，然后把这...

2018-06-01 14:11:55 1538

原创极简笔记 VAE（变分自编码器）

极简笔记 VAE（变分自编码器）论文原文：Auto-Encoding Variational Bayes这是一篇极其拗口的文章，但是文章从变分推断一路延伸到自编码器的构造，过程一气呵成，和当下DL领域的灌水之风形成鲜明对比，是难得的佳作。为了能够从理论到实现融会贯通地理解，本篇笔记会更加偏向于思路解读而非原文复述。VAE是一个生成模型，对于生成模型，我们希望求得的都是原始数据分布p(x...

2018-05-25 22:02:48 6643

原创极简笔记 Squeeze-and-Excitation Networks

论文地址：https://arxiv.org/abs/1709.01507ILSVRC2017分类冠军论文，思路简单，提出SE block，可以附加在现有网络结构上。SE block的目的是在channel层面突出有贡献的响应信息让后续卷积层利用，同时抑制无关响应。 SE block结构如上图，即对原feature map多加一个分支，先global average pooling，然后...

2018-05-19 15:18:35 400

原创极简笔记 Deformable Convolutional Networks

极简笔记 Deformable Convolutional Networks论文地址：https://arxiv.org/abs/1703.06211文章核心是提出deformable convolution和deformable roi pooling两种结构模块，使得卷积能够自由形变，打破了方形卷积的形状约束，增强了卷积对于物体几何形变的适应性。先讲deformable con...

2018-05-11 13:47:49 1768

原创极简笔记 Multi-task Self-Supervised Visual Learning

极简笔记 Multi-task Self-Supervised Visual Learning论文地址: https://arxiv.org/abs/1708.07860文章核心是利用自监督的任务对模型进行pretrain，再将得到的模型迁移到相关任务进行finetuning（这时候对不更新骨架网络参数，来进行对比，只学习不同任务的head），期望得到的性能接近带有额外label的pret...

2018-04-30 16:31:43 4223

原创极简笔记 DetNet: A Backbone network for Object Detection

极简笔记 DetNet: A Backbone network for Object Detection文章的核心提出了一种专用于detection任务的backbone network：DetNet。目前检测网络的主流方法是基于classification网络加FPN和RPN结构进行定位。大部分分类网络通过减小深层的spatial size 来加大像素的感受野，较小的resolution一定...

2018-04-24 14:55:03 3323

原创极简笔记 Cross-stitch Networks for Multi-task Learning

极简笔记 Cross-stitch Networks for Multi-task Learning论文地址: https://arxiv.org/abs/1604.03539本篇文章研究的问题是不同层级的网络权值共享对multi-task learning的影响，同时在此基础上提出Cross-stitch units（十字绣单元），以实现自动学习最优网络共享结构。首先，本篇文章在...

2018-04-19 21:01:13 4375

原创极简笔记 Cascaded Pyramid Network for Multi-Person Pose Estimation

Cascaded Pyramid Network for Multi-Person Pose Estimation论文地址：https://arxiv.org/abs/1711.07319 旷视COCO Challenge 2017人体姿态估计冠军论文文章核心提出一种使用自上而下的多人关键点估计方法。先利用mask-rcnn的detection结构检测人体（FPN+ROIAlign），之...

2018-04-01 10:26:44 3176 1

原创极简笔记 DeepID-Net: Object Detection with Deformable Part Based Convolutional Neural Networks

极简笔记 DeepID-Net: Object Detection with Deformable Part Based Convolutional Neural Networks论文地址 http://www.ee.cuhk.edu.hk/~xgwang/papers/ouyangZWpami16.pdf这是CUHK王晓刚组2017年的一篇TPAMI，最早发在CVPR2015，增加实验之...

2018-03-17 16:19:43 1368

原创极简笔记 Meta-Learning for semi-supervised few-shot classification

极简笔记 Meta-Learning for semi-supervised few-shot classification论文地址 https://arxiv.org/pdf/1803.00676.pdf本篇文章核心是给出了一种用于少样本半监督学习的分类算法。总体思路非常简单，通过一个网络 (Prototypical Network)提取特征，之后对特征进行聚类，聚类中心稳定之后拿去测试...

2018-03-16 19:18:07 7319 4

原创极简笔记 YOLO9000 Better, Faster, Stronger

极简笔记 YOLO9000: Better, Faster, Stronger论文地址 https://arxiv.org/abs/1612.08242文章核心就是提出了第二弹YOLOv2，在速度和精度上相较于上一代YOLO有大幅提高，完全超越SSD，唯一遗憾的就是用了类似于RPN的结构，不再是single-shot detector了。首先先放一张YOLO vs. YOLOv2对...

2018-03-15 21:26:00 349

原创极简笔记 Path Aggregation Network for Instance Segmentation

极简笔记 Path Aggregation Network for Instance Segmentation论文地址 https://arxiv.org/abs/1803.01534本篇文章核心提出一个用于instance segmentation的网络PANet，如图三点改进： Bottom-up Path Augmentation在FPN之后再加入从底层到高层的卷积操作...

2018-03-10 16:24:23 1774

原创极简笔记 DeepLabv3+

【极简笔记】Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation文章核心：1. 提出DeepLabv3+，采用encoder-decoder结构（其实就是语义分割常用的下采样再上采样）；2. 该网络通过带孔卷积可以任意控制encoder feature的resolution，有较好的尺...

2018-03-09 16:44:05 5639

原创【极简笔记】CycleGAN

【极简笔记】Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks(CycleGAN)论文地址：https://arxiv.org/abs/1703.10593文章核心贡献是提出了一种双向GAN模型，通过双向adversarial loss和cycle loss的约束使得生成器的映射域更...

2018-02-28 22:38:24 1970

原创【极简笔记】OpenPose

【极简笔记】Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields论文地址：https://arxiv.org/abs/1611.08050文章的核心是提出一种利用Part Affinity Fields（PAFs）的自下而上的人体姿态估计算法。研究自下而上算法（得到关键点位置再获得骨架）而不是自上而下算法（先...

2018-02-26 15:45:54 19346

原创【极简笔记】Tunneling Neural Perception and Logic Reasoning through Abductive Learning

【极简笔记】Tunneling Neural Perception and Logic Reasoning through Abductive Learning论文地址https://arxiv.org/abs/1802.01173本文的核心贡献是提出Neural Logical Machine（NLM），文中实验用它来学习判断一个手写等式是否成立（注意，这个等式可以是二进制计算等式，也可...

2018-02-20 21:03:02 1411 1

原创【极简笔记】Learning to Segment Every Thing

【极简笔记】Learning to Segment Every ThingLearning to Segment Every Thing现有训练集A，其中的类别都有对应的mask标注（bbox标注也就有了）。又有训练集B，其中的类别只有bounding box标注。文章的核心贡献是提出了一种迁移学习的方法，利用weight transfer function，在Mask-RCNN架构基础上

2018-02-06 18:02:28 625

原创【极简笔记】Focal Loss

【极简笔记】Focal LossFocal Loss for Dense Object Detection文章的核心就是提出了focal loss用来取代原有的cross entropy loss pt={p,if y=11−p,otherwise" role="presentation">pt={p,1−p,if y=1otherwisept={p,if y=1

2018-02-01 11:48:13 1883

原创极简笔记：Dynamic Routing Between Capsule

极简笔记：Dynamic Routing Between Capsule

2017-11-25 23:17:13 581

空空如也

空空如也