吴恩达深度神经网络笔记—YOLO

最新推荐文章于 2024-05-22 21:29:30 发布

管二三

最新推荐文章于 2024-05-22 21:29:30 发布

阅读量764

点赞数

分类专栏：深度学习文章标签： dnn 深度学习 python

本文链接：https://blog.youkuaiyun.com/m0_51447279/article/details/127978490

版权

目标

学习如何（1）在汽车检测数据集上使用对象检测；（2）处理边界框

导包

import argparse
import os
import matplotlib.pyplot as plt
from matplotlib.pyplot import imshow
import scipy.io
import scipy.misc
import numpy as np
import pandas as pd
import PIL
import tensorflow as tf
from keras import backend as K
from keras.layers import Input, Lambda, Conv2D
from keras.models import load_model, Model
from yolo_utils import read_classes, read_anchors, generate_colors, preprocess_image, draw_boxes, scale_boxes
from yad2k.models.keras_yolo import yolo_head, yolo_boxes_to_corners, preprocess_true_boxes, yolo_loss, yolo_body

%matplotlib inline

具体问题

数据集来自 drive.ai
将所有这些图像收集到一个文件夹中，并通过在找到的每辆车周围绘制边界框来标记它们。下面是一个边界框的示例。
在这里插入图片描述
pc：置信度
bx，by：中心点坐标
bh，bw：矩形框长宽
c：框内类别

假如你想让YOLO识别80个分类，你可以把分类标签c从1到80进行标记，或者把它变为80维的向量（80个数字），在对应位置填写上0或1。视频中我们使用的是后面的方案。因为YOLO的模型训练起来是比较久的，我们将使用预先训练好的权重来进行使用。

YOLO（you only look once）：在算法中“只看一次（only looks once）”的机制使得它在预测时只需要进行一次前向传播，在使用非最大值抑制后，它与边界框一起输出识别对象。

模型细节

输入的批量图片的维度为(m,608,608,3)
输出是一个识别分类与边界框的列表。每个边界框由6个数字组成：（px,bx,by,bh,bw,c）。如果你将c放到80维的向量中，那么每个边界框就由85个数字组成

使用5个锚框（anchor boxes），所以算法大致流程是这样的：图像输入(m,608,608,3)
⇒DEEP CNN⇒ 编码(m,19,19,5,85)。具体如下图：
在这里插入图片描述

如果对象的中心/中点在单元格内，那么该单元格就负责识别该对象
我们也使用了5个锚框，19x19的单元格，所以每个单元格内有5个锚框的编码信息，锚框的组成是pc+px+py+ph+pw
为了方便，我们将把最后的两个维度的数据进行展开，所以最后一步的编码由(m,19,19,5,85)变为了(m,19,19,425)。
在这里插入图片描述

对于每个单元格的每个锚框而言，我们将计算下列元素的乘积，并提取该框包含某一类的概率。如下图：

在这里插入图片描述
这里有张YOLO预测图的可视化预测：

对于每个19x19的单元格，找寻最大的可能性值，在5个锚框和不同的类之间取最大值
根据单元格预测的最可能的对象来使用添加颜色的方式来标记单元格。

需要注意的就是该可视化不是YOLO算法本身进行预测的核心部分，这只是一种可视化算法中间结果的比较d好的方法。另一种可视化YOLO输出的方法是绘制它输出的边界框，这样做会导致可视化是这样的：
在这里插入图片描述
在上图中们只绘制了模型所猜测的高概率的锚框，但锚框依旧是太多了。我们希望将算法的输出过滤为检测到的对象数量更少，要做到这一点，我们将使用非最大抑制。具体来说，我们将执行以下步骤：

舍弃掉低概率的锚框（意思是格子算出来的概率比较低我们就不要）
当几个锚框相互重叠并检测同一个物体时，只选择一个锚框。

分类阈值过滤

为了解决上面的问题，现在我们要为阈值进行过滤，我们要去掉一些预测值低于预设值的锚框。模型共计会有19×19×5×85个数字，每一个锚框由85个数字组成（80个分类+pc+px+py+ph+pw），将维度为（19,19,5,85）或者（19,19,425）转换为下面的维度将会有利于我们的下一步操作：

box_confidence：tensor类型，维度为（19x19,5,1），包含19x19单元格中每个单元格预测的5个锚框中的所有的锚框的pc（一些对象的置信概率）
boxes：tensor类型，维度为(19x19,5,4)，包含了所有的锚框的（px,py,ph,pw）
box_class_probs：tensor类型，维度为(19x19,5,80)，包含了所有单元格中所有锚框的所有对象(c1,c2,c3，⋅⋅⋅，c80)检测的概率。

概率+框+种类

实现函数yolo_filter_boxes()，步骤如下：

计算对象的可能性：
对于每个锚框，需要找到：

对分类的预测的概率拥有最大值的锚框的索引（查看中文文档），需要注意的是我们需要选择的轴，我们可以试着使用axis=-1。
对应的最大值的锚框（查看中文文档），需要注意的是我们需要选择的轴，我们可以试着使用axis=-1
根据阈值来创建掩码，比如执行下列操作：[0.9, 0.3, 0.4, 0.5, 0.1] < 0.4，返回的是[False, True, False, False, True]，对于我们要保留的锚框，对应的掩码应该为True或者1.
使用TensorFlow来对box_class_scores、boxes、box_classes进行掩码操作以过滤出我们想要的锚框

def yolo_filter_boxes(box_confidence, boxes, box_class_probs, threshold = .6):

    box_scores = box_confidence * box_class_probs
    
    box_classes = K.argmax(box_scores, axis=-1)
    box_classes_scores = K.max(box_scores, axis=-1)
    
    mask = (box_classes_scores>=threshold)
    
    scores = tf.boolean_mask(box_classes_scores,mask)
    boxes = tf.boolean_mask(boxes,mask)
    classes = tf.boolean_mask(box_classes,mask)
    
    return scores, boxes, classes

测试：

with tf.compat.v1.Session() as test_a:
    box_confidence = tf.compat.v1.random_normal([19, 19, 5, 1], mean=1, stddev=4, seed = 1)
    boxes = tf.compat.v1.random_normal([19, 19, 5, 4], mean=1, stddev=4, seed = 1)
    box_class_probs = tf.compat.v1.random_normal([19, 19, 5, 80], mean=1, stddev=4, seed = 1)
    scores, boxes, classes = yolo_filter_boxes(box_confidence, boxes, box_class_probs, threshold =

最低0.47元/天解锁文章