yychentracy的博客

本篇文章结合了源码解读记忆对于faster rcnn进行一些新的看法精髓就是：使用深度卷积网络选出候选框，fast rcnn选出候选区域，attention，RPN告诉fast rcnn到底应该关注哪里。首先faster rcnn在定义网络结构的时候，是在原来的特征提取网络的基础上进行微调的，所以网络结构主要分为Extrator：利用CNN进行特征提取，网路结构可以采用VGG16也可以采...

层旋转在训练时，神经网络的每一层与其初始状态之间的余弦距离的变化，每一层的权值与初始权值之间的余弦距离越大，总能使得模型的最终泛化性能越好。层旋转易于检测和控制有利于超参数调优，层旋转可以提供统一的框架，从而解释学习率调优，权重衰减，学习率预热和自适应梯度方法对泛化和训练迅速的影响。层旋转的优良特性有一个与网络五官的最优状态很容易监控，因为他取决于网络权重的变化，所以在最优化的过程中，层...

极市平台（五年后计算机视觉）1 数据集将会同时有手工标注的，生成的，弱监督数据三类，更好的视频理解，以及多模态特征，与世界有更好的互动，针对视频学习，视频数据集的规模不理想，并且现有的数据集多样性，时长，分辨率多有限，新型的数据集需要更多的动作，也更丰富多变。视频学习的目标需要判断时序依赖关系，动作预测，因此也需要新型的模型设计，多模态监督就是将视觉系统和世界互动，和机器人，强化学习结合，音频和...

交通指示牌识别卷积神经网络，图像增强，判断网络是否过拟合，防止过拟合方向盘转向图像增强，图像视角转换，使用网络进行回归的任务低能耗的网络的必要性，空间可分离卷积，卷积分解，分组卷积，深度方向可分离卷积目标检测selective search进行region proposal，ss的工作原理，bound ing box的边界框回归，ROI Pooling（兴趣区域池化），RPN网络，ｓ...

摘要vis-hud，从图片中计算视觉现实性，将得到的结果送入cnn中进行human detetiona visual saliency map：使用ML-net产生，ML_Net在SALICON上预训练，detectNet ：用来human detect 是ImageNet的预训练分别为了saliency detection and Image classification。introd...

简介由于基于RGB的行为识别容易受到视角的变化以及复杂背景的干扰，从而导致泛化性能不足，很那应用到实际生活中，基于骨骼点数据的识别可以很好地解决这个问题。将人体定义为25个关键关节点的三维坐标，行为往往以视频的形式存在着，所以长度为T的行为可以用25T3来表示。传统的行为识别传统的基于骨骼点的行为识别是基于深度学习方法可以分为RNN和基于CNN的，RNN的方法可以将数据表示为三维的向量，然后...

产生胶囊网络的缘由通常我们都是基于梯度下降的方式进行反向传播优化网络，学习一个最优的参数，梯度下降就是输入的数据每向前一步，都沿着最陡峭的地方下降，就这样一步一步的走向山底，该算法将每层的误差反馈给系统，并进行参数优化。但对应多个隐层的神经网络的时候，隐层的误差不能直接被反馈出来，所以权重不能直接被优化，神经网络的性能极大的不稳定。反向传播就是一场及时雨，输出层没有适当而准确的误差，反向传播就...

1. 基于PyTorch Geometric的快速图像表征学习（Fast Graph Representation Learning with PyTorch Geometric）这篇论文的作者Matthias Fey和Jan E. Lenssen来自德国多特蒙德工业大学。他们的研究介绍了PyTorch Geometric——一个基于PyTorch的不规则结构化输入数据（如图形、点云和流形...

基于图卷积的多标签图像识别多标签图像识别任务就是预测图像中出现的一组目标标签，由于对象通常出现在图片中，因此需要对标签的依赖关系进行建模。以提高识别的性能。为了捕捉和探索这些依赖关系提出了一种基于图卷积网络GCN额多标签分类模型，该模型在对象标签上构建有向图，其中每个节点有标签的词嵌入表示，GCN就是学会将这个图映射到一组相互依赖的目标分类器中，这个分类器可以由另外一个子网络提取的image d...

目标检测的新方向，不再使用基于anchor的方法，因为之前的方法由于要选择足够多的anchor来与groundtruth重叠，并且anchor的设计需要很多的参数，基于关键点的目标检测主要有两个：CornerNet和centerNet，本文主要介绍原理。

多目标追踪按照轨迹生成的顺序可以分为离线的多目标追踪和在线的多目标追踪离线的多目标追踪通常构造为图模型，设计和计算检测之间的相似度或者距离是决定图模型构造正确性的关键。在线的多目标是根据当前的检测观测，计算与已有轨迹的匹配关系。无论是离线还是在线，学习检测的特征并计算匹配相似度或者距离度量都是多目标跟踪算法的关键。基于深度学习的多目标追踪算法主要任务是优化检测之间相似性和距离度量的设计，根据学习...

单摄像头和物体都运动下的深度估计就是从平面图像反推出对应的三维世界的样子，即使在很多物体同时移动的复杂环境中，人类也能够福这些物体的几何形状，深度关系作出合理的预测。对于计算机来说很困难，因为摄像头和被拍摄物体都静止的情况下不能稳定的解决所有的问题，那么摄像头和物体都自由移动的时候就更难得道正确的答案。谷歌提出了一种基于深度学习的方法解决单个摄像头加摄像头和物体都在移动的状况下的深度预测，在任...

这篇论文针对的训练过程的不平衡导致模型的潜力不能充分发挥的问题，提出了三种问题，并给出三种文体的解决方案。Abstractdetection的performance通常会受到训练过程的影响，三个层面的影响比如：sample level，feature level，objective level。本文提出的libra R-CNN结构缓解了这种影响，融合了三种结构: IoU-balanced sa...

R-CNN的过程输入测试图像，用selective search的方法在图像上提取2000个region Proposal将每个region proposals缩放到227*227的大小并输入到cnn，将CNN的fc7的输出作为特征将每个region proposal提取的cnn特征 作为SVM的输入，然后进行分类对于svm分好类的region proposals做边界框回归，用boun...

ROI操作的基本介绍roi是在原图中的感兴趣区域，可以理解为目标检测的候选框也就是region of proposals，我们将原图进行特征提取的时候，就会提取到相应的feature map。那么相应的ROI就会在feature map上有映射，这个映射过程就是roipooling的一部分，一般ROI的步骤会继续进行max pooling，进而得到我们需要的feature map，送入后面继续计...

摘要这篇文章就是提出了一个新的结构胶囊时一组神经元的集合，这些集合用一个 向量表示，其中active的vector代表着某个实体的各个实例参数。通常我们会用此向量的长度来代表某个实体存在的概率，方向表示这个 实体的一些属性。在网络中，低层的胶囊为高层的胶囊做预测，当低层的都完成预测的时候，高层的胶囊就会被激活，通常低层的胶囊将自己的输出传递给高层 的胶囊的时候，遵循着高层与低层的胶囊的输出有一...

仅适用此模型一半的参数量就可以实现47.8%的MAP，高于任何其他的单步检测，另外，xnets的训练速度是目前第二号的框架的3倍使用的主要方法就是将目标的尺度和宽高比映射到不同的层中，使得每层目标的大小和宽高几乎满足统一的条件，是一种考虑目标尺度和宽高比的框架。目标检测方法两步检测faster rcnn，mask rcnn单步检测 基于锚点的，基于关键点的检测基于...

challenge关键点可见性受穿着，姿态，视角影响很大，而且面临着遮挡，光照，雾等环境的影响，2d人体检测和3d人体关键点视觉上会有明显的差异，身体的不同部位有视觉缩短的效果，使得人体骨骼关键点。关键点检测算法关键点检测算法主要分为自上而下和自下而上两种。自上而下就是目标检测+单人骨骼关键点检测1关键点的局部信息区分度很弱，背景中很容易出现同样的局部信息造成的混淆，需要考虑较大的感...

多层感知机LeNet51.相比MLP，LeNet使用了相对更少的参数，获得了更好的结果。2.设计了maxpool来提取特征AlexNet特点：1.相比LeNet，AlexNet设计了更深层的网络。2.在每个卷机后面添加了Relu激活函数，解决了Sigmoid的梯度消失问题，使收敛更快。3.添加了归一化LRN（Local Response Normalizati...

PoolNet因为高层的丰富的语义信息可以帮助显著目标的定位，底层和中间层的特征对于提高coarse level to fine level的特征提取是有必要的。我们提出了两个模块来精确的捕获显著目标的位置同时凸显细节信息overall Pipeline以自顶向上的方式在top的地方建立一个GGM，每一level都聚合来自GGM提取的高层语义信息，可以明确不同特征层的显著性目标的位置，G...

基于池化技术的显著性目标检测Abstract引入了GGM（global guidance module ）（针对不用的特征层提供突出目标的位置信息）和FAM（feature aggregation module）（特征整合模块，将corse-level 特征与fine -level水平的特征进行融合，）这两种pooling模块可以使得高级语义特征逐步的细化，生成细节丰富的显著性映射，并且可以准...

main idea这篇文章提出了一个新的数据集，是在原有的数据集上进行扩充的，包含491k的images，每张图片都包含丰富的语义标注，包括 style,scale,occlusion,zooming,viewpoint,bounding box,dense landmarks and pose.pixel-level masks.pair of image.这篇章提出了一个benchmark...

**Multi-Label Image Recognition with Graph Convolutional Networks **多标签图像识别的任务就是预测图像中出现的一组目标标签，，我们可以对标签依赖关系进行建模，提高识别性能，为了捕捉和探索这些重要的依赖关系，我们提出了一种基于图卷积网络多标签分类模型，该模型将这个标签图映射到一组相互依赖的目标分类器中，这些分类器应用由另一个子网络提...

网络的退化问题其实随着网路深度的加深，模型的精度并不是总是提高，这个不是过拟合造成的，因为随着网络深度的加深，不仅测试误差变大了，而且训练误差也高了，这个可能是因为更深的网络伴随着梯度消失和爆炸的问题，阻碍了网路的收敛，随着网络深度网路性能下降的现象叫做退化问题（degradation）。解决这个问题以前采用了BN的方法，一定程度缓解了这个要求，但是不能满足这个需求。建立恒等映射。学习残差F...

目标检测现在可以研究的方向目标检测领域还有什么可做的？19 个方向给你建议 - 极市平台的技术博客 - 优快云博客 https://blog.youkuaiyun.com/Extremevision/article/details/86436596总结一下就是：List item类似ssd的精度和速度的结合，包括，RefineDet，RFBNet目标检测从基本的选框到选anchor再到角点，比如...

网络的整体结构网络的整体结构包括，backbone部分和detection 部分，骨干网络是SNet，这个网络i是基于shuffleNetV2进行修改得到的。网络的检测部分，利用了压缩的RPN网络，修改Light-Head R-CNN网络提高效率，CEM整合局部和全局特征增强网络特征的表达能力，并提出了SAM空间注意力机制，引入来自RPN的前后景信息用以优化特征分布。二：backbone部分...

tensorflow读取数据主要有三种方式1，共给数据，在tensorflow程序运行的每一步，让python代码来供给数据2，从文件读取数据：在tensorflow图开始，让一个管线从线程中读取数据3，预加载数据，在tensorflow图中定义变量或变量来保存所有的数据（使用数据比较小的情况）如果数据很小，内存足够大，可以选择将所有的数据读入内存，然后每次取一个batch对的数据出来，如...

1 下载代码abhishekrana/DeepFashion: Apparel detection using deep learning https://github.com/abhishekrana/DeepFashion2 将自己下载好的数据集放在此项目对应的目录下面3，安装必要的东西1 apt install -y python-tk，这里我就遇到了问题2，安装以来的包，我就只...

我们准备好自己的数据1，在VOC2007下面做好数据集我的数据集就是这样的Annotation中保存是标签文件，主要是我们自己做好的xml文件ImageSet中保存的是Main，Main中华保存的是两个文件，这两个文件可以用的JPEGImage中保存的是原始的数据图片1 首先制作tfrecord文件写一个脚本文件(怎样写一个脚本文件呢)这里如果不给权限，就执行不了he...

一、IOU-Net1，极大值抑制移除重复的候选框，候选框移除的依据是分类的得分，对于一些得分低的候选框有可能会距离groundtruth更近一点，这样就会导致最终指标的下降。作者提出了根据回归的分来判断最后的指标2，提出optimization-based bbox refinement替换传统的regression-based方法，提高了回归部分的可解释性。3.提出了Precise ROI...

制作voc数据集1，我创建了一个项目文件夹叫做2007voc将数据放在这个文件夹下，包括标记数据和训练数据2因为我的数据格式是下面这种，所以我集写了代码如下：主要是将多行的标记文件转在同一行。这种格式的数据，每一张图的框都是放在不同行的，只能重新处理import pandas as pddef read_csv(csv_path,pre_dir): data=pd....

VGG16或者19很深，如果用来训练自己的网络的话就会很费时间和计算资源，所以可以使用预训练的模型，从而应用到自己的任务中去。我在网上找了一个代码，感觉直接敲就可以了jcheng1602/tensorflow-vgg: VGG19 and VGG16 on Tensorflow https://github.com/jcheng1602/tensorflow-vggpython3下tens...

1 SSD最后一层由多个尺度的特征图一起组成的然而他最后一层的多尺度是有限的，对于极小的目标识别，SSD就无能为力了。2 FPN特征金字塔网络，不是一味的下采样去提取语义信息来识别物体，而是从顶层的每一层都进行上采样来获取准确的像素位置信息（类似残差网络的挑层连接）因为卷积操作可以高效的提取语义信息，但是存在像素错位的问题，这种上采样还原特征图的方式很好的缓解了像素不准的问题。但是这样...

这篇博客是参照一个pycharm来写的，其实改的也不多，但是自己跑出来了主要包括，读取数据，定义模型，训练，保存模型，提取模型进行分类1，训练数据的读取#x训练数据的读取import tensorflow as tfimport numpy as npimport os获取文件，从一个特定的目录中获取#获取文件的路径def get_files(file_dir): ca...

这个过程主要分为三个步骤：数据预处理数据处理就是把数据按照一定的格式写出来，以便网路自己去读取数据1准备原始数据我的cloth数据一共是四个类别，每个类别有衣服47张，一用是188张图片，这些大小不一的原始图片转换成我们训练需要的shape。原始数据放在同一个文件夹下面：2 编程实现制作Tfrecords，读取Tfrecords数据获得iamge和label，打印验证并保存生成的图...

maskrcnn我都已经看了很久了，知道今天我才可以正式的在自己的数据集上训练它，也是在docker上，从最基本的安装pycocotools开始，中间经历了很多的坑，我都忘记了，这两天时间，我学会了怎样在自己的数据集行训练，首先我选的数据集是deepfashion服装数据集，我自己先做一个demo，所以我的类别只有三类，每类是20张图片，所有我一共有60张图片，以后就自己在扩大数据集1，我的数据...

DetNet: A Backbone network for Object Detection 笔记 - Jinlong_Xu的博客 - 优快云博客 https://blog.youkuaiyun.com/Jinlong_Xu/article/details/80006127

1. MAPprecision=正确的数目/所有的结果recall=结果中正确的/所有的正确的P是把准确率在recall值为Recall = {0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1}时（总共11个rank水平上），求平均值：AP = 1/11 ∑ recall∈{0,0.1,…,1} Precision(Recall) 针对单个...

人体姿态追踪数据集posetrack这个数据集包括550个视频，66374帧292个训练视频，50个验证视频，和208个测试视频大多数数据集长度在41到151帧之间，大概是5s左右不同的视频长度具有不同的帧率每个视频序列，注释中间的30帧另外在验证和测试集中，每隔4帧进行稠密标注(with a step of four frames？)，目的在于测试跟踪身体关节的稳定性以及长期跟踪...

目标检测的技术1，多尺度检测2，包围框的回归3，目标上下文建模4， 包围框的非极大值抑制5，难检测负样本挖掘目标检测的层次加速数值计算层次（如积分图、矢量量化等）检测引擎层次（网络剪枝与量化、轻量级网络设计等）、检测流程层次（特征图共享、分类器加速、级连检测等）目标检测的进展1，更好的引擎（深度学习的骨干网咯）2,使用更好的特征（特征融合，学习大感受...