OpenMV 图片对象（目标识别基础）

背景介绍：

Sugar 在《图像处理基础》一文中说过：“OpenMV 在图像里做目标识别的过程就是：不停地取出画面里的每一帧图像，在图像里的每一帧画面上找目标的过程。”

本篇就说一说 OpenMV 怎样在一帧画面上识别目标的。

image 模块

上一篇《从 hello world 读懂 OpenMV 怎样玩》中说到 OpenMV 通过 sensor.snapshot() 从摄像头获取一帧图像，也就是一张当时的图片。得到这个图片后，就可以通过 image 模块里的方法处理图片了，原因是：

通过官方文档可知：sensor.snapshot() 返回一个 image 类的对象。要使用 image 模块提供的方法，按 Python 的规矩就要：

import image

image 可以在当前的图像帧上做各种各样的操作，下面先说一说要进行这些操作需要的基础知识。

像素坐标

OpenMV 的像素坐标系如下：

与其他(OpenCV 等)图像处理系统一样，像素坐标系的原点在图像的“左上角”，x、y 轴的正方向如上图。

image 模块方法示例：打标记

一、 API 介绍

1、image.clear() 清除图像帧上的所有像素点；

2、image.draw_rectangle(x, y, w, h) 以 (x, y) 为起点，画宽 w 高 h 的方形。

二、代码及现象

通过这个示例，非常直观地感受到了 image.clear() 的作用：消除了整个图像帧的像素，把图像变黑了。如果我们想保留图片，在拍摄到的视频画面上画这个方块，那么应该这么写代码：

每获取一帧图像画一个方块，不用擦除之前画的方块，因为每次 sensor.snapshot() 的时候图像帧一更新就把上一次画的方块冲掉了（这里要细细体会一下搞明白哦）。

三、再说两个画画 API 接下来的例子用：

(1) image.draw_cross(x,y) 以像素坐标 (x, y) 为中心画个十字。

(2) img.draw_circle(x, y, diameter) 以像素坐标 (x, y) 为圆心，diameter 为直径画一个圆。

只要了解 Python 的基本知识，对 OpenMV 编程就非常简单，专注点在视觉及图像内容上而非 Python 语法上就对了。如果对 Python 语法还不熟悉的话可以看 Sugar 的 Python 入门系列推文。这里要说明的一点是：就算 Python 语法非常简单，作为一种编程语言，学习其语法也会有一段枯燥的时间。这一点从 Sugar 写 Python 入门系列推文的时候阅读量不大就能看得出来。Python 相对于其他语言来讲算是入门阶段相当短的了，只要熬过那么一小段时间，收获将是其乐无穷的。

image 模块方法示例：找色块

一、API 介绍

1、image.find_blobs(Lab色彩空间下的阀值元组)用于寻找当前图像帧里的目标色块，官方 API 是这样写的：

2、sensor.set_auto_whitebal(False) 关闭自动白平衡。

这是个 sensor 模块的设置，之所以放在这里说是因为这个设置与寻找色块相关，官方文档里是这么说的：

Sugar 对艺术略知一二并不精通，如果问“自动白平衡”是什么，还是下面这两位大佬解释得好：

艺术大佬一，来自知乎，请手动搜索下图中的标题：

艺术大佬二，直接点这个题目《咳咳咳！你真的搞懂白平衡了吗？》

Sugar 的做法是：官方文档让关咱就关了，不多问。哈哈，别学 Sugar 这样不求甚解啊，多了解是好的。

二、image.blob 类介绍

上面的 image.find_blobs() 返回一个 image.blob 对象，下面就来看一下这个对象里都包含哪些信息。

信息	含意
corners	从左上角开始顺时针方向，色块 4 个角的 (x,y) 像素坐标
min_conrners	这个目前没搞明白先不解释
rect	以 (x,y,w,h) 形式返回色块的边界框信息
x	色块边界框的 x 像素坐标
y	色块边界框的 y 像素坐标
w	色块边界框宽的像素个数
h	色块边界框高的像素个数
pixels	色块里包含的像素点个数
cx	色块中心的 x 像素坐标（整型）
cxf	色块中心的 x 像素坐标（浮点型）
cy	色块中心的 y 像素坐标（整型）
cyf	色块中心的 y 像素坐标（浮点型）
rotation	长条形色块的旋转角度，0~PI 弧度，对圆形色块无用
rotation_deg	以“度”为单位返回长条形色块的旋转角度
rotation_rad	同 rotation，加了 rad 更易识别单位
code	merge=True 时才有效，这个目前没搞明白先不解释
count	merge=True 时才有效，这个目前没搞明白先不解释
perimeter	色块周长上的像素个数
roundness	色块的圆度，0~1 之间，圆是 1
elongation	色块的线条度，0~1 之间，线是 1
area	色块的面积，即：w*h
density	色块边框区域内像素点的数量，0~1之间，较低说明对象锁定不太好
extent	同 density，就是换个名字而已
compactness	类似 density，区别是使用色块周长来衡量对象的密度，也是 0~1 之间
solidity	类似 density，区别是使用最小面积旋转的矩形相对于边界矩形来测量密度，也是 0~1 之间
convexity	色块的方度，0~1 之间，正方形是 1
x_hist_bins	色块中所有列的 x 轴直方图，Bin 值在 0 和 1 之间缩放
y_hist_bins	色块中所有行的 y 轴直方图，Bin 值在 0 和 1 之间缩放
major_axis_line	色块主轴像素点的元组，贯穿最小面积矩形最长边，可以用 image.draw_line() 绘制
minor_axis_line	色块次轴像素点的元组，贯穿最小面积矩形最短边，可以用 image.draw_line() 绘制
enclosing_circle	包围色块最小面积矩形的圆的像素点元组，可以用 image.draw_circle() 绘制
enclosed_ellipse	包围色块最小面积矩形的椭圆的像素点元组，可以用 image.draw_ellipse() 绘制

三、代码及现象

图上的代码不长，一张图片看得全就不把代码单摘出来了，相信愿意实践的读者可以照着打出来。这里点一处考察 Python 能力的地方：如果去掉代码里 if len(blobs) > 0: 这个条件，则运行会在某个时候报错。问题有三个：

1、会在什么时候报错？

2、报什么错，为什么报这个错？

3、可否用 if blobs: 代替 if len(blobs) > 0:？

如果答不上来或答不全，请到 Sugar 写的 Python 入门系列推文里巩固一下 Python 基础。

PS

颜色阀值的提取使用的是 OpenMV IDE 的一个工具，如下图：

用法不细说了，网上搜一搜或者用鼠标在弹出窗口上拉一拉就知道。

关注作者

欢迎扫码关注我的公众号MultiMCU EDU。

提示：在公众号“关于我”页面可加作者微信好友。

喜欢本文求点赞，有打赏我会更有动力。