计算机视觉理论笔记 (13) - 物体检测 (Object Detection)

最新推荐文章于 2024-08-14 20:54:50 发布
最新推荐文章于 2024-08-14 20:54:50 发布
阅读量2.7k 收藏 7
点赞数 3
分类专栏： cv笔记 文章标签： 计算机视觉 机器学习

物体检测

物体检测

总览

给定图像或者视频序列，定位感兴趣的对象的所有实例。该问题对应于确定包围对象 (enclose the objects) 的图像或视频序列中的区域，通常是最小的矩形边界框 (smallest rectangular bounding boxes)。
在这里插入图片描述
要求对于 视点，比例，明度，遮挡和姿势 (viewpoint, scale, illumiation, occlusion, pose) 都具有不变性。

流程

  1. 生成和选择区域 (图像块 patches)
  2. 在一定规模上进行对象识别 (object recognition)
  3. 合并多个重叠的正区域(overlapped positive regions)。

有两个策略：
在这里插入图片描述

生成区域 (Generation of Regions)

滑动窗口算法

在图像上滑动框或者窗口 (box or window) 已选择图像块 (patch)。这是对整个图像和不同比例的对象 (different scales) 的详尽搜索 (exhaustive search)。这可能会导致成千上万的图像补丁 (image patches)。
这种方法适用于固定宽高比 (aspect ratio) 的对象，比如人脸或者行人。
当我们搜索多个宽高比时，这个方法在计算上非常昂贵。
在这里插入图片描述

区域提案 (Region Proposal)

输出与图像中最有可能是对象的所有 图像块 相对应的边界框 (output bounding boxes)。
这些区域提案可能会带有噪声，重叠 (overlapping) 且可能无法完美地包含对象，但我们期望会有一个非常接近图像中的实际对象的提案。
区域提案算法 (Region Proposal Algorithms) 使用 分割 (Segmentation) 来识别图像中的预期对象 (prospective objects)。

选择性搜索是通用算法之一。

选择性搜索 (Selective Search)

该方法根据颜色，纹理，大小和形状兼容性(color, texture, size and shape)计算相似区域的层次分组 (hierarchical grouping)。建立在过度分割(oversegments)之上。
在这里插入图片描述
从 过度分割 开始，反复执行以下操作：

  • 将 分割片段(segmented part) 相对应的所有边界框 (bounding box) 添加到 区域提案 中。
  • 根据相似度将相邻的片段(adjacent segments)分组。
    在这里插入图片描述
相似度 (similarity)

  • 颜色相似度 (color similarity)： 有一个每个通道带有25个bin的颜色直方图，每个区域 25 x 3 = 75-D 颜色描述符(color descriptor)。
    在这里插入图片描述

  • 纹理相似度 (texture similarity): 每个通道在8个方向 (8 orientation) 上的高斯导数 (Gaussian derivatives)。每个方向和每个颜色通道的 10 bin 直方图，每个区域 10 x 8 x 3 = 240-D 特征描述符 (feature descriptor)。
    在这里插入图片描述

  • 尺寸相似度 (size similarities): 鼓励更小的区域更早进行合并。
    在这里插入图片描述
    其中 size(im) 是 图中像素的多少。

  • 形状兼容性 (shape compatibility):
    在这里插入图片描述
    其中 size(BBij) 是 覆盖两个区域的边界框的大小。

  • 最终相似度 (Final similarity): 𝑎𝑖 ∈ [0,1.0]
    在这里插入图片描述
    结果：
    在这里插入图片描述

面部检测 (Face Detection)

基于皮肤的面部检测 (Skin-based face detection)

肤色 (skin tone) 可以通过两种方式用于面部检测:

  • 分割 (segmentation): 为了减少搜索空间，加快检测速度，但与实际的面部检测器 (face detector) 无关 (更常用)。
  • 检测 (Detection): 作为直接用于检测的特征。

皮肤可能性 (Skin Likelihood)

皮肤颜色的统计值：
在这里插入图片描述
YCbCr的皮肤可能图：
在这里插入图片描述
在这里插入图片描述

步骤

  1. 根据颜色检测皮肤区域
  2. 删除小区域 (形态学开操作 Morphological opening)
  3. 查找所有区域的长宽比 (连接组件分析和标记 connected component labelling)，并仅保留特定的比例，其他的去除。
  4. 剩余的区域 (Remaining regions) 便被分类为人脸。

结果：
在这里插入图片描述

优点

  1. 高效且容易实现。
  2. 不需要或仅需要一点点训练。
  3. 能够在低分辨率或者模糊图像上工作。(不需要面部细节)
  4. 反转不变性 (rotation-invariant)。

缺点

  1. 对明度 (illumination) 和颜色平衡 (color balance) 敏感。
  2. 低准确率 - 会匹配到身体其他部位或者其他肉色的物体。
  3. 需要有颜色的图片。

Viola & Jones面部识别

该方法使用模式分类(pattern classification approach)
特征：矩形的 “Haar-like” 特征。
分类器：多个"弱"分类器 (weak classifier) 的组合。

Harr-like 特征

Haar-like特征编码强度差异(intensity differences)。特征值是白色和黑色区域之间的像素差之和。缩放到不同大小并在子窗口中的所有可能位置进行测试。
为全局照度不变 (global illumination invariance) 而标准化的子窗口 (sub-windows)。
在这里插入图片描述
在这里插入图片描述
下图应用了所有四个 Haar-like 特征，所有位置和大小。
其产生了大量特征值，24 x 24 的大小有 180000个值。
这些被输入到分类器(而不是原始像素点)。
在这里插入图片描述

简单特征分类器

简单的"stump"分类器使用单个特征并对其设置阈值。
在这里插入图片描述

这样的分类器可能有很多 (每个特征值一个，即 2x108)，需要一种方法来选择最佳分类器。
于是这就引出了AdaBoost。

AdaBoost

对大数量的弱分类器 (weak classifier) 组合并加权从而形成更加准确的强分类器 (strong classifer)。
在这里插入图片描述
两个目的：

  • 特征选择 (feature selection)：通过重新加权 (re-weighting) 的方式，从可能的stump分类器 (特征) 中选择最合适的子集 (subset)。
  • 分类器 (classifier)：建造能够做出最终的 面部/非面部 决定 (face/non-face decision) 的强分类器。
    在这里插入图片描述

原理：
现实生活中，规则都是组合使用的。
比如，苹果是：

  • 圆形的。
  • 通常是红的。
  • 有可能会是绿的。
  • 有苹果茎 (stem)。
    在这里插入图片描述

因此，这些弱规则 (weak rule) 可以组合成为强规则 (strong rule)。

弱分类器是被一个一个选择出来的。准确性较高的分类器 (训练过程中) 的权重要比准确性较低的分类器更高 (通常使用logit函数)。
在这里插入图片描述
在这里插入图片描述

AdaBoost 训练

  • 训练数千张面部和非面部的图片，所有图像均被裁剪并缩放为相同的大小 (如，24 x 24 像素)
  • 在训练期间添加弱学习器 (weak learner) 可以减少训练误差 (training error)。
  • 一些设计者会使用更复杂的弱学习器，例如使用多个特征的树分类器 (tree classifiers)。

AdaBoost一个一个选择 弱分类器(特征) ，并先后针对较“难”的样本 (difficult samples) 进行分类

  1. 初始化样本权重 (initialise sample weights)。
  2. 重复M轮：
    1. 训练所有可能的弱学习器，并选择其中拥有最低的权重误差。
    2. 基于弱学习器的输出，更新并重新规范化 (update and re-normalise) 样本的权重。
  3. 输出作为 弱分类器的和 的最终强分类器。

实验者训练了多个强分类器，所有都必须被通过才证明目标图片是张脸。

初始化 (Initialization)

给定图片 (x1, y2), …, (xn, yn)，其中 yi = 0 或 1 分别代表了负样本(非脸)和正样本(脸)。所有的图片都被裁剪并缩放 (cropped and scaled) 为相同的大小 (如，24 x 24 像素)。
初始化权重
在这里插入图片描述
其中，m 是负样本的总数，l 是正样本的总数。

迭代 (Iteration)

对于 t = 1, …, T :

  • 规范化权重，使 wt 成为可能性的分布。
    在这里插入图片描述
  • 对于每个特征 j，训练限于单个特征的分类器 hj。其中，误差通过以下方式验证
    在这里插入图片描述
  • 选择带有最低误差的分类器 hi。
  • 更新权重
    在这里插入图片描述
    其中若 xi 被分类正确了，则 ei = 0。否则 ei = 1。
    在这里插入图片描述
强分类器

最终的强分类器是：
在这里插入图片描述

分类

一个子窗口 (sub-window) 在图片的不同分辨率中去扫描，并在每个地方使用分类器。每一个子窗口都会对脸和非脸进行分类。
在这里插入图片描述
在这里插入图片描述

合并检测 (Merging Detection)

在检测的过程中，多个检测通常会同时出现在附近的比例和空间位置(nearby scale and spatial locations)。合并算法 (merging algorithm) 会将其结合起来，通常是基于相近度 (proximity)，重叠的比例 (percentage of overlap) 等。
单个的，远离其他的检测通常都是假阳性 (false positive) 的，如下图右上角。
在这里插入图片描述

Adaboost 算法提速

  • 使用整体图像表示 (integral image representation) 的Haar-like特征能被计算得更快。
  • 可以使用 注意级联(attentional cascade) 来加快分类速度。
整体图像表示

整体图像是一个新图像，其中每个像素都是原始图像中其上方和左侧的像素之和。
在这里插入图片描述
通过用内存交换速度，来加速 Haar-like特征的计算。
单通计算，其允许在 整体图像 中仅仅使用并计算矩形四个角。
在这里插入图片描述

级联分类器

整个分类器从简单分类器开始，该分类器 检测几乎所有正样本时拒绝了许多预测的阴性结果。
第一个分类器的阳性结果会触发第二个 (更复杂的) 分类器的评估，并以此类推。
任何时候的阴性结果都会导致分类立即完成。
在这里插入图片描述
将分类器依照 复杂度增加 (more complex) ，以及拥有更低假阳率 (lower false positive) 的 顺序链接起来。
在这里插入图片描述
调整弱学习器的阈值来最小化假阴性。

如，一个单特征分类器能够有 100% 的 真阳率 以及 50% 的假阳率。
接着，一个五特征分类器能够有 100% 的真阳率 以及 40% 的假阳率 (和上述的累积起来就是 20%)
最后，一个二十特征分类器能够有 100% 的真阳率 以及 10% 的假阳率 (累积起来 2%)

在这里插入图片描述

明显的面部特征

  • 特征从最重要到最不重要
  • 通常是眼睛和眉毛，然后是鼻子，然后是脸部其余部分
  • 低空间频率 (low spatial frequency) 到高空间频率（“粗粒度到细粒度 coarse to fine”）
  • 大多数基于外观的面部检测器 (appearance-based face detector) 都遵循相同的顺序。

优点

  • 高准确性。
  • 高效。
  • 能在灰度图中工作。

缺陷

  • 需要长时间的训练流程。
  • 变化的分类时间 (variable classification)。
  • 对姿态敏感 (sensitive to pose)。

结果

左边均为基于皮肤面部检测，右边均为Viola & Jones的方法。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

挑战

  • 低质量或低分辨率图像
  • 被其他物体遮挡 (occlusion by foreign objects)
  • 照明变化（或相机设置）
  • 面部表情 (facial expression)
  • 姿势（平面内 in-plane 和平面外 out-of plane 旋转）

人体检测模型 (Human Detection Model)

通常是基于滑动窗口 (sliding window based) 来进行检测。
我们需要进行预处理，如可以在候选提取 (candidate extraction) 之前应用图像滤波 (image filtering)，以增强输入图像/视频序列的质量。

定向梯度直方图 (Histogram of oriented gradients)

使用局部梯度 (local gradient) 来代表正样本和负样本。

方法

  1. 先将图片转为灰度图。接着，对于每一个像素点，计算其梯度 (gradient)，方向 (direction) 和强度 (magnitude)。通过和该像素点的直接邻点来计算，像素点往哪个方向变得更暗了。
    在这里插入图片描述
  2. 重复步骤1的操作给所有的像素点，我们将会得到一张被箭头替换了像素点的图片，这些箭头被称为 梯度。这么做的好处是，当我们直接分析像素，同一个人的在亮处和暗处的像素值会很不一样。如果只是考虑亮度变化的方向，那么亮图和暗图将会有差不多的表示。
    在这里插入图片描述
  3. 接着，为了减少梯度的数量，我们将整幅图片分为许多 16x16像素的块。在这些块，我们统计在主要的方向有多少梯度点。将最强的箭头方向替代当前的块。
    在这里插入图片描述
  4. 为了在HOG图中找到面部，我们能做的就是从训练集中的其他脸部图片寻找和我们当前图片最接近的已知HOG模式。
    在这里插入图片描述

使用HOG检测人体

在这里插入图片描述
在这里插入图片描述

  1. Normalize Gamma & colour: 高斯平滑 + Gamma规范化。实际上，效果很小(约1%)，同时需要一些计算时间。

  2. compute gradient (计算梯度)
    在这里插入图片描述
    得出x方向梯度：
    在这里插入图片描述
    得出y方向梯度
    在这里插入图片描述
    得出梯度强度和方向
    在这里插入图片描述

  3. 在 8x8 空间单元(spatial cells)上累积权重投票(weight vote)。8 x 8 x 3 = 192个像素。梯度方向被分成了 9 个bins (0, 20, 40, 60, …, 160 度)。中间的图是该RGB块和用箭头代表的梯度。右边的图是指用数字代表的该块的梯度和方向。
    在这里插入图片描述
    在这里插入图片描述
    如上图，梯度方向为80，则表示在直方图80的位置加上该点的梯度强度值。而当梯度方向为10 (在 0 - 20度正中间)，则分别在直方图的0和20处加上该点的梯度强度 4 / 2 = 2。
    在这里插入图片描述
    而当方向为165度，更接近160度而远离180度(0)。则其梯度强度85被分为 63.75和21.25分别分配给160和0。
    在这里插入图片描述
    最终结果如上图。

  4. 图像的梯度对整体光照敏感。为了使描述符独立于照明变化。直方图在 16x16块上被“归一化 normalized”，使其不受光照变化 (lighting variations) 影响。
    在这里插入图片描述

  5. 计算整个图片块的最终特征向量(final feature vector)。在一张 64 x 128 的图片块中，我们有多少个 16 x 16 像素块。水平方向有 7 个位置，垂直方向有 15 个位置。总共 7 x 15 = 105 个位置。每个 16 x 16 的向量由 36 x 1 的向量代表。因此我们将105个向量都放到同一个大向量中 (36 x 105 = 3780维向量)
    在这里插入图片描述

HOG结果

在这里插入图片描述

计算机视觉物体检测
a871923942的博客
05-26 849
在本篇博客中，我们将从零开始实现一个计算机视觉中的物体检测任务。我们将使用 Python 和 PyTorch 框架，并使用一个简单的卷积神经网络（CNN）模型进行物体检测。我。
域适应目标检测：DA Faster R-CNN论文笔记——Domain Adaptive Faster R-CNN for Object Detection in the Wild
qq_50001789的博客
06-24 3076
论文题目：《Domain Adaptive Faster R-CNN for Object Detection in the Wild》 本文提出了一种有效解决跨域目标检测问题的域适应Faster R-CNN算法，可以实现在不使用任何附加标记数据的情况下获得新领域鲁棒性的检测器。作者在对跨域目标检测理论分析的基础上，提出了一个图像级自适应组件和实例级自适应组件来缓解由域偏移引起的模型性能下降的问题
计算机视觉基础-4——物体检测
dianshu9815的博客
07-10 504
一、什么是目标检测 即用框（bounding box）标出物体的位置，并给出物体的类别 一些数据集介绍： PASCAL VOC数据集http://host.robots.ox.ac.uk/pascal/VOC/ 20类物体 COCO数据集 http://cocodataset.org/#home 80类物体 二、IoU介绍 IoU：Intersectio...
计算机视觉 -- 三代物体检测(简要总结)
weixin_41521681的博客
02-27 335
R-CNN 构建网络模型 特征提取： selective search： 小区域 合并 大区域 ；小框 合并 大框 ； 所有的框 都跑一遍 卷积神经网络 特征提取 固化 分类，回归（定位） 慢，开篇之作，低效 问题：时间很长，每个小框都要跑一次神经网络，加上分类器 解决：先进行卷积（共享） ...
计算机视觉与物体检测
深度学习与计算机视觉
04-14 415
第一次通过Tensorflow对象检测API了解对象检测。它很容易使用。传入了一张海滩的图片，作为回报，API在它识别的对象上绘制了方框。这似乎很神奇。很好奇，想剖析API，了解它到底是如何在幕后工作的。这很难，我失败了。Tensorflow对象检测API支持经过数十年研究的最先进模型。它们被复杂地编织成代码，就像钟表匠如何将微小的齿轮组合在一起，它们可以连贯地移动。然而，目前大多数最先进的模型都...
计算机视觉之旅-进阶-物体检测
撸码猿的博客
06-15 665
无论是哪一类方法,目标检测的评价主要指标都包含准确率、召回率和mAP。1. 准确率(Precision)检测结果中真正的物体框占全部检测框的比例。2. 召回率(Recall)检测结果中真正的物体框占全部物体的比例。在不同召回率条件下的平均准确率。是综合考量准确率和召回率最重要的指标。物体检测是一个视觉任务中比较基础但也比较困难的问题,是许多高级视觉任务如行为识别,场景解析的基础。随着深度学习的发展,物体检测的精度也在快速提高。但对小物体,部分遮挡场景的检测依旧面临很大困难。
Multi-Modal 3D Object Detection in Autonomous Driving a Surv
09-23
标题 "Multi-Modal 3D Object Detection in Autonomous Driving a Surv" 指向的主题是自动驾驶中的多模态3D物体检测技术的调查研究。在自动驾驶领域，3D物体检测是核心的技术之一，它允许车辆感知环境，识别出周围的...
[论文笔记]Multi-View 3D Object Detection Network for Autonomous Driving
weixin_43146899的博客
12-07 2989
Multi-View 3D Object Detection Network for Autonomous Driving 本文提出一种多模态的3D目标检测，融合了视觉和雷达点云信息。和以往基于voxel的方法不同，它只用了点云的俯视图和前视图，这样既能减少计算量，又不至于丧失过多的信息。随后生成3D候选区域，把特征和候选区域融合后输出最终的目标检测框。 作者认为基于LIDAR点云的方法通常可以获得更准确的3D目标位置，而基于图像的方法就2D目标评估具有更高的精度。 整体架构如下图所示，多模态3D检测网络由
【计算机视觉】论文笔记-FCOS: Fully Convolutional One-Stage Object Detection
qq_42292095的博客
12-15 3603
文章目录前言前提知识1.CNN与FCN：2.FCOS:该算法是一种基于FCN的逐像素目标检测算法，3.H×W×C4.COCO数据集5.ground truth box6.FPN结构：特征金字塔网络方法改进-FPN对FCOS的多层次预测FCOS会产生大量偏离目标中心的边界框 前言 此论文笔记为本人课堂小组展示，特此记录部分内容 前提知识 1.CNN与FCN： CNN:卷积神经网络 FCN:全卷积网络 通常cnn网络在卷积之后会接上若干个全连接层，将卷积层产生的特征图（feature map）映射成为一个固定长
【论文笔记】Cross-Domain Few-Shot Object Detection via Enhanced Open-Set Object Detector
最新发布
m0_73954336的博客
08-14 2262
论文《Cross-Domain Few-Shot Object Detection via Enhanced Open-Set Object Detector》阅读笔记。
基于计算机视觉的机场跑道异物检测识别系统_王宇.pdf
09-03
论文仅供学习和参考。 介绍了基于计算机视觉的机场跑道异物检测和识别系统。 首先介绍了其总体结构，然后提出一种基于边缘特征的异物检测方法，最后提出了基于 Gabor 纹理的异物特征提取方法，并以此为依据进行分类。
深度学习 计算机视觉 物体检测 rcnn,fast rcnn,faster rcnn
Nicholas_Liu2017的博客
05-13 356
知乎上一篇关于物体检测的讨论，写的很好，可以参考 https://www.zhihu.com/question/35887527 后面的部分，有时间在仔细描述
计算机视觉检测教程,计算机视觉中的物体检测方法
weixin_39872044的博客
07-10 977
本文适合刚入门物体检测的人群学习，不涉及公式推理。目录*摘要*相关物体检测数据集介绍*现有的主流物体检测算法*物体检测的难点与挑战*相关术语介绍*物体检测的传统算法概述*基于深度学习的物体检测算法R-CNNFast-RCNNFaster-RCNNYOLO*物体检测动手实践*参考文献摘要相比于图像分类，图像中物体检测是计算机视觉中一个更加复杂的问题，因为图像分类只需要判断出图像属于哪一类就行，而在物...
计算机视觉物体识别的过程,(物体识别过程.doc
weixin_30587341的博客
07-26 2225
(物体识别过程在计算机视觉领域，一个典型的物体识别系统往包含以下几个阶段预处理特征特征选择建模匹配定位1.2.3预处理预处理几乎是所有计算机视觉算法的第一步动机是尽可能在不改变图像承载的本质信息的前提下，使得每张图像的表观特性如颜色分布，整体明暗，尺寸大小等尽可能的一致，以之后的处理过程。预处理有生物学的对应。瞳孔，虹膜和视网膜上的一些细胞的行为类似某些预处理步骤，如自适应调节入射光的动态区域等等...
计算机视觉物体识别的过程,计算机视觉之从OpenCV到物体识别（二）
weixin_33345090的博客
07-26 1538
前言：上一章节我们学会了图片、视频以及外设获取帧图片的方式，以及OpenCV 的灰度图片处理。计算机不像人眼可以很轻易地辨别物体，本质是将一张图片转换成灰度图，通过一定的模型训练，使得机器能够从0，1(黑与白)中分辨物体的特征，由局部到整体，图片越复杂，所需的训练程度越高。这一章节我们接着上一chapter 来实操，慢慢见证从0到1 的过程。 01OpenCV 图像处理上一chapter 我们简单...
计算机视觉识别 步骤,计算机视觉中的物体检测方法
weixin_39859052的博客
07-31 1504
本文适合刚入门物体检测的人群学习，不涉及公式推理。目录*摘要*相关物体检测数据集介绍*现有的主流物体检测算法*物体检测的难点与挑战*相关术语介绍*物体检测的传统算法概述*基于深度学习的物体检测算法R-CNNFast-RCNNFaster-RCNNYOLO*物体检测动手实践*参考文献摘要相比于图像分类，图像中物体检测是计算机视觉中一个更加复杂的问题，因为图像分类只需要判断出图像属于哪一类就行，而在物...
计算机视觉之物体检测背后的技术
极客代码
05-31 843
物体检测是计算机视觉中的一个重要任务，它旨在识别并定位图像中的物体。物体检测技术在许多实际应用中发挥着重要作用，如自动驾驶、视频监控、医疗图像分析等。物体检测算法可以分为两个主要阶段：生成候选区域和分类。
基于计算机视觉的异物检测,一种基于计算机视觉的地铁站台异物检测算法.pdf...
weixin_42500720的博客
07-28 579
一种基于计算机视觉的地铁站台异物检测算法第26卷第1期 轨道交通信息技术Vol.26 No.1 Urban Rail Transit I...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值