对视频中的文档进行实时检测和处理
项目介绍：主要实现了从摄像头实时捕获视频流，检测其中的文档（四边形物体），并对检测到的文档进行透视变换和二值化处理的功能。
综合运用了摄像头操作、图像处理、轮廓检测、透视变换和二值化处理等多种计算机视觉和图像处理技术，实现了文档的实时检测和处理。
实例
- 自定义函数定义
# 自定义函数：用于显示图像并处理按键事件
def cv_show(name, img):
# 在名为 name 的窗口中显示图像 img
cv2.imshow(name, img)
# 等待 1 毫秒，获取按键事件的键值
key = cv2.waitKey(1)
# 如果按下 ESC 键（键值为 27），返回 False 表示退出
if key == 27:
return False
# 否则返回 True
return True
# 自定义函数：对四边形的四个顶点进行排序，确保顺序为左上、右上、右下、左下
def order_points(pts):
# 初始化一个形状为 (4, 2) 的零数组，用于存储排序后的顶点坐标
rect = np.zeros((4, 2), dtype="float32")
# 计算每个顶点的坐标和
s = pts.sum(axis=1)
# 和最小的顶点为左上角顶点
rect[0] = pts[np.argmin(s)]
# 和最大的顶点为右下角顶点
rect[2] = pts[np.argmax(s)]
# 计算每个顶点的坐标差
diff = np.diff(pts, axis=1)
# 差最小的顶点为右上角顶点
rect[1] = pts[np.argmin(diff)]
# 差最大的顶点为左下角顶点
rect[3] = pts[np.argmax(diff)]
# 返回排序后的顶点坐标
return rect
# 自定义函数：对图像进行透视变换，将四边形区域转换为矩形区域
def four_point_transform(image, pts):
# 调用 order_points 函数对顶点进行排序
rect = order_points(pts)
# 解包排序后的顶点坐标
(tl, tr, br, bl) = rect
# 计算四边形底部的宽度
widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
# 计算四边形顶部的宽度
widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
# 取宽度的最大值作为变换后矩形的宽度
maxWidth = max(int(widthA), int(widthB))
# 计算四边形右侧的高度
heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
# 计算四边形左侧的高度
heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
# 取高度的最大值作为变换后矩形的高度
maxHeight = max(int(heightA), int(heightB))
# 定义变换后矩形的四个顶点坐标
dst = np.array([[0, 0], [maxWidth - 1, 0], [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtype="float32")
# 计算透视变换矩阵
M = cv2.getPerspectiveTransform(rect, dst)
# 对图像进行透视变换
warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
# 返回透视变换后的图像
return warped
- 摄像头操作
# 打开默认摄像头
cap = cv2.VideoCapture(0)
# 检查摄像头是否成功打开
if not cap.isOpened():
print('Cannot open camera')
exit()
# 进入循环，不断读取视频帧
while True:
# 标志位，用于判断是否检测到文档
flag = 0
# 读取一帧图像，ret 表示是否成功读取，image 为读取的图像
ret, image = cap.read()
# 复制原始图像，用于后续处理
orig = image.copy()
# 如果读取失败，输出错误信息并跳出循环
if not ret:
print("不能读取摄像头")
break
# 显示原始图像，并处理按键事件
if not cv_show("image", image):
break
- 图像处理
# 将图像从 BGR 颜色空间转换为灰度颜色空间
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 对灰度图像进行高斯模糊处理，去除噪声
gray = cv2.GaussianBlur(gray, (5, 5), 0)
# 使用 Canny 算法进行边缘检测
edged = cv2.Canny(gray, 75, 200)
- 轮廓检测与处理
# 显示边缘检测结果，并处理按键事件
if not cv_show('1', edged):
break
# 查找边缘图像中的轮廓，兼容不同版本的 OpenCV
contours, _ = cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if cv2.__version__.startswith('4') else cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[1:3]
# 对检测到的轮廓按面积从大到小排序，取前 3 个轮廓
cnts = sorted(contours, key=cv2.contourArea, reverse=True)[:3]
# 在原始图像上绘制检测到的轮廓
image_contours = cv2.drawContours(image.copy(), cnts, -1, (0, 255, 0), 2)
# 显示绘制轮廓后的图像，并处理按键事件
if not cv_show('image_contours', image_contours):
break
# 遍历排序后的轮廓
for c in cnts:
# 计算轮廓的周长
peri = cv2.arcLength(c, True)
# 对轮廓进行多边形近似
approx = cv2.approxPolyDP(c, 0.05 * peri, True)
# 计算近似后轮廓的面积
area = cv2.contourArea(approx)
# 如果面积大于 20000 且近似后的轮廓为四边形，则认为检测到文档
if area > 20000 and len(approx) == 4:
# 记录检测到的文档轮廓
screenCnt = approx
# 设置标志位为 1，表示检测到文档
flag = 1
# 打印轮廓的周长和面积
print(peri, area)
print('检测到文档')
break
- 透视变换
# 如果检测到文档
if flag == 1:
# 在原始图像上绘制检测到的文档轮廓
image_contours = cv2.drawContours(image.copy(), [screenCnt], 0, (0, 255, 0), 2)
# 显示绘制文档轮廓后的图像，并处理按键事件
if not cv_show('image', image_contours):
break
# 对原始图像进行透视变换
warped = four_point_transform(orig, screenCnt.reshape(4, 2))
# 显示透视变换后的图像，并处理按键事件
if not cv_show('warped', warped):
break
- 二值化处理
# 将透视变换后的图像转换为灰度图像
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
# 使用 Otsu 算法进行二值化处理
ref = cv2.threshold(warped, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
# 显示二值化后的图像，并处理按键事件
if not cv_show('ref', ref):
break
- 释放资源
# 释放摄像头资源
cap.release()
# 关闭所有 OpenCV 窗口
cv2.destroyAllWindows()
完整代码
import numpy as np
import cv2
# 自定义函数：用于显示图像并处理按键事件
def cv_show(name, img):
# 在名为 name 的窗口中显示图像 img
cv2.imshow(name, img)
# 等待 1 毫秒，获取按键事件的键值
key = cv2.waitKey(1)
# 如果按下 ESC 键（键值为 27），返回 False 表示退出
if key == 27:
return False
# 否则返回 True
return True
# 自定义函数：对四边形的四个顶点进行排序，确保顺序为左上、右上、右下、左下
def order_points(pts):
# 初始化一个形状为 (4, 2) 的零数组，用于存储排序后的顶点坐标
rect = np.zeros((4, 2), dtype="float32")
# 计算每个顶点的坐标和
s = pts.sum(axis=1)
# 和最小的顶点为左上角顶点
rect[0] = pts[np.argmin(s)]
# 和最大的顶点为右下角顶点
rect[2] = pts[np.argmax(s)]
# 计算每个顶点的坐标差
diff = np.diff(pts, axis=1)
# 差最小的顶点为右上角顶点
rect[1] = pts[np.argmin(diff)]
# 差最大的顶点为左下角顶点
rect[3] = pts[np.argmax(diff)]
# 返回排序后的顶点坐标
return rect
# 自定义函数：对图像进行透视变换，将四边形区域转换为矩形区域
def four_point_transform(image, pts):
# 调用 order_points 函数对顶点进行排序
rect = order_points(pts)
# 解包排序后的顶点坐标
(tl, tr, br, bl) = rect
# 计算四边形底部的宽度
widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
# 计算四边形顶部的宽度
widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
# 取宽度的最大值作为变换后矩形的宽度
maxWidth = max(int(widthA), int(widthB))
# 计算四边形右侧的高度
heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
# 计算四边形左侧的高度
heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
# 取高度的最大值作为变换后矩形的高度
maxHeight = max(int(heightA), int(heightB))
# 定义变换后矩形的四个顶点坐标
dst = np.array([[0, 0], [maxWidth - 1, 0], [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtype="float32")
# 计算透视变换矩阵
M = cv2.getPerspectiveTransform(rect, dst)
# 对图像进行透视变换
warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
# 返回透视变换后的图像
return warped
# 打开默认摄像头
cap = cv2.VideoCapture(0)
# 检查摄像头是否成功打开
if not cap.isOpened():
print('Cannot open camera')
exit()
# 进入循环，不断读取视频帧
while True:
# 标志位，用于判断是否检测到文档
flag = 0
# 读取一帧图像，ret 表示是否成功读取，image 为读取的图像
ret, image = cap.read()
# 复制原始图像，用于后续处理
orig = image.copy()
# 如果读取失败，输出错误信息并跳出循环
if not ret:
print("不能读取摄像头")
break
# 显示原始图像，并处理按键事件
if not cv_show("image", image):
break
# 将图像从 BGR 颜色空间转换为灰度颜色空间
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 对灰度图像进行高斯模糊处理，去除噪声
gray = cv2.GaussianBlur(gray, (5, 5), 0)
# 使用 Canny 算法进行边缘检测
edged = cv2.Canny(gray, 75, 200)
# 显示边缘检测结果，并处理按键事件
if not cv_show('1', edged):
break
# 查找边缘图像中的轮廓，兼容不同版本的 OpenCV
contours, _ = cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if cv2.__version__.startswith('4') else cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[1:3]
# 对检测到的轮廓按面积从大到小排序，取前 3 个轮廓
cnts = sorted(contours, key=cv2.contourArea, reverse=True)[:3]
# 在原始图像上绘制检测到的轮廓
image_contours = cv2.drawContours(image.copy(), cnts, -1, (0, 255, 0), 2)
# 显示绘制轮廓后的图像，并处理按键事件
if not cv_show('image_contours', image_contours):
break
# 遍历排序后的轮廓
for c in cnts:
# 计算轮廓的周长
peri = cv2.arcLength(c, True)
# 对轮廓进行多边形近似
approx = cv2.approxPolyDP(c, 0.05 * peri, True)
# 计算近似后轮廓的面积
area = cv2.contourArea(approx)
# 如果面积大于 20000 且近似后的轮廓为四边形，则认为检测到文档
if area > 20000 and len(approx) == 4:
# 记录检测到的文档轮廓
screenCnt = approx
# 设置标志位为 1，表示检测到文档
flag = 1
# 打印轮廓的周长和面积
print(peri, area)
print('检测到文档')
break
# 如果检测到文档
if flag == 1:
# 在原始图像上绘制检测到的文档轮廓
image_contours = cv2.drawContours(image.copy(), [screenCnt], 0, (0, 255, 0), 2)
# 显示绘制文档轮廓后的图像，并处理按键事件
if not cv_show('image', image_contours):
break
# 对原始图像进行透视变换
warped = four_point_transform(orig, screenCnt.reshape(4, 2))
# 显示透视变换后的图像，并处理按键事件
if not cv_show('warped', warped):
break
# 将透视变换后的图像转换为灰度图像
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
# 使用 Otsu 算法进行二值化处理
ref = cv2.threshold(warped, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
# 显示二值化后的图像，并处理按键事件
if not cv_show('ref', ref):
break
# 释放摄像头资源
cap.release()
# 关闭所有 OpenCV 窗口
cv2.destroyAllWindows()
可以运行代码进行测试。
扫一扫
8万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
