1. 为什么你的相机需要“体检”?从畸变说起
你可能遇到过这种情况:用手机拍一张棋盘格或者方方正正的建筑,照片里本该笔直的线条,却莫名其妙地“弯”了,尤其是画面边缘,变形得更厉害。这可不是你的手机坏了,而是几乎所有镜头都存在的“先天缺陷”——畸变。
想象一下,我们的眼睛(或者说理想的针孔相机)看世界,光线是直线传播的。但真实的相机镜头是由多片透镜组成的,光线穿过这些透镜时,就像透过一个鱼缸看东西,边缘会发生弯曲。这种弯曲主要分两种:径向畸变和切向畸变。径向畸变让直线要么像桶一样向外鼓(桶形畸变),要么像枕头一样向内凹(枕形畸变);切向畸变则是因为镜头和成像平面没有完全平行,导致图像看起来有点“歪斜”。
对于人眼看看风景、拍拍人像,这点畸变或许无伤大雅。但一旦你的相机要干“正经事”,比如做视觉测量、机器人抓取、三维重建,或者哪怕只是做图像拼接,这点畸变就会带来巨大的误差。一个歪了1个像素的角点,在三维空间里可能就意味着几毫米甚至几厘米的偏差。所以,相机标定,就是给相机做一次精准的“体检”,拿到它的“体检报告”——也就是相机的内部参数和畸变系数。有了这份报告,我们就能通过计算,把畸变的图像“掰直”,让相机看到的世界和我们用数学描述的世界严丝合缝地对应起来。
而棋盘格,就是这次体检中最常用、最经典的“视力表”。它黑白分明,角点清晰,就像一个个精准的刻度,让计算机能轻松地找到并测量出畸变的具体程度。接下来,我就带你一步步完成这份“体检”,从准备棋盘格、拍照片,到写代码、跑程序、分析结果,把整个流程掰开揉碎了讲清楚。即使你之前没接触过OpenCV,跟着做下来也能搞定。
2. 准备工作:棋盘格、相机和你的第一行代码
万事开头难,但准备工作做得好,后面就顺风顺水。这个阶段的核心就三件事:搞到一张标准的棋盘格、用你的相机拍一组合格的照片、搭好编程环境。
2.1 制作与打印你的“标准视力表”
首先,你需要一张棋盘格图片。别随便在网上找一张就打印,尺寸和比例有讲究。我强烈建议你使用行数和列数不相等的棋盘格,比如我常用的就是 9列 x 6行(注意,我们说的是内部角点,所以9x6的格子会产生8x5=40个内部角点)。为什么不用8x8?因为那样对称性太高,cv2.findChessboardCorners函数有时会搞不清方向,导致检测失败。不等的行列数能提供更明确的方向信息。
你可以在网上搜索“OpenCV chessboard pattern generator”在线生成,或者用Python的OpenCV画一个。这里我给你一段生成代码,保存为generate_chessboard.py:
import cv2
import numpy as np
# 定义棋盘格尺寸(内部角点数:列,行)
pattern_size = (9, 6) # 9列,6行
square_size = 100 # 每个方格100像素
width = pattern_size[0] * square_size
height = pattern_size[1] * square_size
# 创建白色画布
chessboard = np.ones((height, width), dtype=np.uint8) * 255
# 绘制黑色方格
for i in range(pattern_size[1]): # 行
for j in range(pattern_size[0]): # 列
if (i + j) % 2 == 1: # 交错绘制
top_left = (j * square_size, i * square_size)
bottom_right = ((j + 1) * square_size, (i + 1) * square_size)
chessboard[top_left[1]:bottom_right[1], top_left[0]:bottom_right[0]] = 0
# 保存
cv2.imwrite('chessboard_9x6.png', chessboard)
print(f"棋盘格已生成,尺寸:{width}x{height}像素,内部角点:{pattern_size[0]-1}x{pattern_size[1]-1}")
把生成的PNG文件用质量好一点的打印机,打印在硬卡纸上。打印后,务必用尺子量一下每个方格的实际物理尺寸,比如是 25.0毫米。记住这个数字,后面定义三维世界坐标时要用到,它是连接图像像素和真实物理世界的桥梁。打印不平整、纸张弯曲都会严重影响标定精度。
2.2 拍摄技巧:如何拍出合格的标定照片
拍照片听起来简单,但这里有几个坑我踩过,你得注意。首先,固定你的相机!如果是手机,最好用三脚架,或者放在一个稳定的地方,在整个拍摄过程中不要移动相机。我们要移动的是棋盘格,相机位置必须固定。
然后,拿起打印好的棋盘格纸板,在相机前方移动、旋转、倾斜。目标是让棋盘格充满整个画面的不同位置和姿态。你需要拍摄大约 15到20张 照片。具体要点如下:
- 姿态多样:既有正对着的,也要有倾斜的、旋转的。让棋盘格出现在画面的左上、右上、左下、右下、中心等各个区域。
- 角度多样:不仅绕Z轴旋转(平面内旋转),更要绕X轴和Y轴倾斜(产生透视感),这是标定镜头畸变的关键。
- 对焦清晰:确保棋盘格线条清晰,不要模糊。如果自动对焦不靠谱,可以手动对焦。
- 光照均匀:避免强烈的反光或阴影覆盖角点。自然光或均匀的室内光最好。
- 分辨率适中:如果手机像素很高(如4000万),可以适当降低分辨率拍摄,或者后期缩放,以加快处理速度。但原始高分辨率照片也要保留,后期分析有用。
把拍好的照片全部拷贝到电脑的一个文件夹里,比如命名为 calib_imgs。建议使用 .jpg 格式。
2.3 搭建Python环境与安装OpenCV
我假设你已经有Python环境(推荐Python 3.8以上)。打开你的终端或命令提示符,安装必要的库:
pip install opencv-python numpy matplotlib
opencv-python 是核心,numpy 用于数值计算,matplotlib 可以用来显示图片和结果。安装完成后,可以写个简单的测试脚本 test_env.py:
import cv2
import numpy as np
print(f"OpenCV版本:{cv2.__version__}")
print(f"NumPy版本:{np.__version__}")
# 尝试读取一张图片
img = np.zeros((100,100,3), dtype=np.uint8)
print("环境测试通过!")
运行没问题,我们的战场就准备好了。
3. 核心实战:角点检测与相机标定全流程代码解读
现在进入最核心的部分:写代码。我会把完整的代码分块解释,你可以跟着一步步写,也可以最后看完整的脚本。
3.1 第一步:自动查找并细化棋盘格角点
角点检测是标定的第一步,目的是在每张图片中找到棋盘格上所有黑色方块相交的点。OpenCV提供了现成的函数,但用好它需要一些参数。
import cv2
import numpy as np
import glob
# 1. 定义终止条件和棋盘格规格
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
# 这个criteria告诉角点细化算法:最多迭代30次,或者角点位置变化小于0.001像素时停止。
# 棋盘格内部角点数量(列,行)
w = 9 # 列数 (内部角点数为 w-1)
h = 6 # 行数 (内部角点数为 h-1)
# 2. 准备“世界坐标系”下的三维点
# 假设棋盘格在Z=0的平面上,每个方格的实际物理尺寸是25mm
square_size_mm = 25.0
objp = np.zeros((w*h, 3), np.float32)
objp[:, :2] = np.mgrid[0:w, 0:h].T.reshape(-1, 2) * square_size_mm
# 解释一下:np.mgrid生成网格坐标,例如(0,0), (1,0)...(8,5)。乘以square_size_mm后,坐标单位就是毫米。
# 这样,(0,0,0)对应第一个角点,(25,0,0)对应它右边的一个角点,以此类推。
objpoints = [] # 用来存储所有图片的世界坐标点(都是同一套objp)
imgpoints = [] # 用来存储所有图片检测到的对应图像坐标点
# 3. 遍历所有图片,查找角点
images = glob.glob('calib_imgs/*.jpg') # 读取所有jpg图片
for fname in images:
img = cv2.imread(fname)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 转为灰度图
# 查找角点
ret, corners = cv2.findChessboardCorners(gray, (w, h), None)
# ret是布尔值,找到为True;corners是找到的角点像素坐标数组。
if ret:
# 如果找到了,进行亚像素级角点精确化
corners_refined = cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria)
# (11,11)是搜索窗口大小,(-1,-1)是死区(不用管),criteria是上面的终止条件。
# 这个步骤能显著提高角点定位精度,尤其是对于稍显模糊的图片。
objpoints.append(objp) # 世界坐标点(每张图都一样)
imgpoints.append(corners_refined) # 细化后的图像坐标点
# 可视化:把角点画在图片上,方便检查
cv2.drawChessboardCorners(img, (w, h), corners_refined, ret)
cv2.imshow('Detected Corners', img)
cv2.waitKey(300) # 显示300毫秒
else:
print(f"警告:在图片 {fname} 中未找到棋盘格角点!请检查图片或棋盘格参数(w,h)。")
cv2.destroyAllWindows()
print(f"成功处理了 {len(objpoints)} 张图片。")
关键点解析:
cv2.findChessboardCorners:这个函数是主力。如果返回的ret是False,最常见的原因是(w, h)参数设错了(应该是内部角点数+1),或者棋盘格在画面中占比太小、太模糊、光照太差。cv2.cornerSubPix:强烈建议一定要用。它通过迭代算法,能把角点位置精确到亚像素级别(比如从(100.5, 200.3)优化到(100.47, 200.28)),对标定精度提升巨大。- 可视化很重要,能让你一眼看出哪些图片的角点检测是成功的,失败的图片要及时剔除或重拍。
3.2 第二步:执行标定,获取相机“体检报告”
角点数据齐备后,就可以调用OpenCV的标定函数了。这一步计算量最大,但代码很简单。
# 4. 相机标定
print("开始进行相机标定...")
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)
# 参数解释:
# objpoints: 世界坐标点列表
# imgpoints: 对应的图像坐标点列表
# gray.shape[::-1]: 图像尺寸(宽,高)
# 返回值:
# ret: 重投影误差(后面详细讲)
# mtx: 相机内参矩阵(3x3)
# dist: 畸变系数(通常为5个值的数组 [k1, k2, p1, p2, k3])
# rvecs: 每张图片的旋转向量(外参之一)
# tvecs: 每张图片的平移向量(外参之一)
print("="*50)
print(f"标定完成!重投影误差: {ret}")
print("\n--- 相机内参矩阵 (Intrinsic Matrix) ---")
print(mtx)
print("\n--- 畸变系数 (Distortion Coefficients) ---")
print(dist)
print("="*50)
# 5. 保存标定结果
np.savez('camera_params.npz', mtx=mtx, dist=dist, rvecs=rvecs, tvecs=tvecs)
print("相机参数已保存至 'camera_params.npz'")
理解输出结果:
- 内参矩阵
mtx:这是一个3x3的矩阵,形式通常是:[[fx, 0, cx], [ 0, fy, cy], [ 0, 0, 1]]fx,fy是以像素为单位的焦距。cx,cy是图像的主点(光学中心),通常接近图像中心。这个矩阵描述了相机内部的几何属性。 - 畸变系数
dist:通常是一个5元素或8元素的数组。对于大多数应用,我们关注前5个:[k1, k2, p1, p2, k3]。k1, k2, k3是径向畸变系数,p1, p2是切向畸变系数。数值越小,说明你的镜头畸变越小。 - 重投影误差
ret:这是衡量标定质量的核心指标。它表示我们找到的图像角点,和用标定出的参数将世界点重新投影回图像后得到的点,两者之间的平均像素距离。这个值越小越好,一般小于0.5像素就算很不错了,小于0.2像素则非常理想。如果误差很大(比如大于1),说明标定过程可能有问题,需要检查图片质量或角点检测结果。
3.3 第三步:应用标定结果——图像去畸变
拿到“体检报告”后,第一件实用的事就是校正畸变。OpenCV提供了两种方式。
# 6. 图像去畸变(以其中一张图为例)
test_img = cv2.imread('calib_imgs/left01.jpg') # 换一张你的图片名
h, w = test_img.shape[:2]
# 方法一:获取优化后的新相机矩阵(推荐)
newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (w, h), 1, (w, h))
# 参数 alpha=1:保留所有原始像素,但可能会有黑边。alpha=0:裁剪掉所有黑边,但会损失部分图像。
# roi:感兴趣区域,如果alpha=0,可以用它来裁剪。
# 方法二:直接去畸变
dst = cv2.undistort(test_img, mtx, dist, None, newcameramtx)
# 如果想去掉黑边(alpha=0时)
# x, y, w_roi, h_roi = roi
# dst = dst[y:y+h_roi, x:x+w_roi]
# 并排显示原图和去畸变后的图
cv2.imshow('Original Image', test_img)
cv2.imshow('Undistorted Image', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()
# 保存结果
cv2.imwrite('undistorted_result.jpg', dst)
print("去畸变图像已保存。")
去畸变后,你会发现原本弯曲的线条(特别是画面边缘)变得笔直了。这是标定最直观的效果验证。
3.4 第四步:误差分析与结果评估
标定完了,怎么知道结果靠不靠谱?除了看重投影误差,我们还可以手动计算一下反投影误差,并和理论值做个对比。
# 7. 计算并打印反投影误差(更详细)
mean_error = 0
for i in range(len(objpoints)):
imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)
error = cv2.norm(imgpoints[i], imgpoints2, cv2.NORM_L2) / len(imgpoints2)
mean_error += error
mean_error /= len(objpoints)
print(f"\n计算得到的平均反投影误差为: {mean_error:.6f} 像素")
print(f"与cv2.calibrateCamera返回的误差值 {ret:.6f} 应基本一致。")
# 8. (进阶)与理论焦距对比(如果你知道相机传感器和焦距信息)
# 例如:手机摄像头焦距f=4mm,像素尺寸pixel_size=1.4微米 = 0.0014mm
f_mm = 4.0
pixel_size_mm = 0.0014
fx_theoretical = f_mm / pixel_size_mm # 理论焦距(像素单位)
fy_theoretical = fx_theoretical # 通常假设像素是正方形的
print(f"\n--- 理论焦距计算 ---")
print(f"物理焦距 f = {f_mm} mm")
print(f"像素尺寸 = {pixel_size_mm} mm")
print(f"理论 fx, fy = {fx_theoretical:.2f} 像素")
print(f"\n--- 标定结果对比 ---")
print(f"标定得到的 fx = {mtx[0,0]:.2f}, fy = {mtx[1,1]:.2f}")
print(f"主点 cx, cy = [{mtx[0,2]:.2f}, {mtx[1,2]:.2f}],图像中心为 [{w/2:.2f}, {h/2:.2f}]")
# 分析差异:标定焦距与理论焦距的差异可能来自:图片缩放、镜头实际焦距与标称不符、标定误差等。
通过对比,你能更深入地理解标定结果的含义。如果差异在一个合理范围内(比如10%-20%),通常是可接受的。如果差异巨大,就要回头检查整个流程了。
4. 避坑指南与精度提升技巧
纸上得来终觉浅,绝知此事要躬行。我在这里分享几个实战中容易踩的坑和提升精度的心得。
4.1 常见问题与排查
-
问题一:
findChessboardCorners总是返回False。- 检查棋盘格参数:确认
(w, h)是内部角点数加1。一个9x6的棋盘格,内部角点是8x5,但参数要传入(9,6)。 - 检查图片:确保棋盘格在画面中清晰、完整、无反光。尝试对图片进行高斯模糊(
cv2.GaussianBlur(gray, (5,5), 0))后再检测,有时能提升对模糊图像的检测率。 - 尝试不同的标志:
cv2.findChessboardCorners函数有一个flags参数,可以尝试cv2.CALIB_CB_ADAPTIVE_THRESH + cv2.CALIB_CB_NORMALIZE_IMAGE,它先做自适应阈值化,有时效果更好。
- 检查棋盘格参数:确认
-
问题二:重投影误差很大(>1像素)。
- 图片数量与质量:确保有足够多(15-20张)且姿态差异大的高质量图片。剔除那些角点检测看起来就不准的图片(比如部分角点模糊、有反光)。
- 角点检测精度:确认使用了
cornerSubPix进行亚像素优化。 - 棋盘格平整度:打印的棋盘格一定要贴平在硬板上,拍摄时尽量保证棋盘格平面是刚性的,不要弯曲。
- 世界坐标单位:确保
objp中的square_size是你实际测量的物理尺寸(单位毫米),并且所有图片使用同一个值。这个值的绝对大小不影响内参,但影响外参(平移向量tvecs)。
-
问题三:去畸变后图像四周有严重黑边或扭曲。
- 这是正常的,因为畸变校正会把边缘的像素“拉”回正确位置,边缘部分在原始图像中没有对应信息。使用
cv2.getOptimalNewCameraMatrix并设置alpha=0可以裁剪掉黑边,但会损失视野。alpha=1保留全部视野但有黑边。根据你的应用场景选择。
- 这是正常的,因为畸变校正会把边缘的像素“拉”回正确位置,边缘部分在原始图像中没有对应信息。使用
4.2 高级技巧:让标定更精准
- 多尺度角点检测:对于高分辨率图像,可以先在缩小的图像上粗检测角点,然后在原图对应区域进行亚像素精化,能加快速度并提高稳定性。
- 使用圆点网格标定板:对于某些镜头,尤其是畸变非常大的鱼眼镜头,棋盘格角点检测可能不稳定。可以尝试使用圆点网格(
cv2.findCirclesGrid)。圆点中心的定位通常更抗畸变。 - 标定板姿态覆盖:这是提升精度的关键。确保标定板在画面中既有靠近中心的,也有紧贴四个边的;既有近乎平行的,也有大角度倾斜的。覆盖的视野范围越广,标定出的畸变模型越准确。
- 多次标定取平均:对于高精度要求,可以独立进行多次标定流程(用不同的图片集),然后对得到的内参和畸变系数取平均值或中位数,以降低随机误差。
- 固定光圈和焦距:如果是可调光圈的工业相机或单反,标定时应使用小光圈(如F8),以增大景深,减少镜头像差的影响,并且在整个过程中固定焦距,不要变焦。
5. 标定结果的应用:从2D图像到3D姿态估计
相机标定不只是为了去畸变。更强大的应用在于,当我们知道了相机的内参和畸变系数后,就可以通过几张2D图片,反推出物体在三维空间中的位置和姿态(Pose Estimation)。这就像是给了相机一双“深度感知”的眼睛。
假设我们现在已经标定好了相机(参数保存在camera_params.npz),并且将同一个棋盘格放在相机前大约1米的位置。我们想通过单张图片,计算出这个棋盘格相对于相机的精确位置和朝向。
import cv2
import numpy as np
# 加载之前保存的标定参数
with np.load('camera_params.npz') as data:
mtx = data['mtx']
dist = data['dist']
# 定义棋盘格的世界坐标(与标定时一致)
pattern_size = (9, 6) # 列,行
square_size = 25.0 # 毫米
objp = np.zeros((pattern_size[0]*pattern_size[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) * square_size
# 读取一张新的、包含棋盘格的图片(棋盘格在约1米外)
img = cv2.imread('new_pose_image.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 检测角点
ret, corners = cv2.findChessboardCorners(gray, pattern_size, None)
if ret:
corners_refined = cv2.cornerSubPix(gray, corners, (11,11), (-1,-1), criteria)
# 使用PnP算法求解旋转和平移向量
# cv2.solvePnP 是核心函数,它利用已知的3D点(objp)、对应的2D图像点(corners_refined)和相机内参,求解外参。
# 使用RANSAC版本(solvePnPRansac)可以提高抗噪声能力。
success, rvec, tvec, inliers = cv2.solvePnPRansac(objp, corners_refined, mtx, dist)
# rvec: 旋转向量(3x1),可以用 cv2.Rodrigues() 转换为3x3旋转矩阵
# tvec: 平移向量(3x1),单位与世界坐标单位一致(这里是毫米)
if success:
print("姿态估计成功!")
print(f"旋转向量 (rvec):\n{rvec}")
print(f"平移向量 (tvec,单位: mm):\n{tvec}")
# 计算相机到棋盘格的距离(欧氏距离)
distance = np.linalg.norm(tvec)
print(f"棋盘格到相机的直线距离约为: {distance:.1f} mm")
# 可视化:在图像上绘制一个3D坐标系
# 定义坐标系上三个轴的方向(在世界坐标系中,长度50mm)
axis = np.float32([[50,0,0], [0,50,0], [0,0,-50]]).reshape(-1,3)
# 将3D轴点投影到2D图像平面
imgpts, jac = cv2.projectPoints(axis, rvec, tvec, mtx, dist)
imgpts = imgpts.astype(int)
# 获取棋盘格第一个角点作为坐标系原点
corner_origin = tuple(corners_refined[0].ravel().astype(int))
# 绘制坐标轴:X轴-红色,Y轴-绿色,Z轴-蓝色(指向棋盘格平面内部)
cv2.line(img, corner_origin, tuple(imgpts[0].ravel()), (0, 0, 255), 5) # X: Red
cv2.line(img, corner_origin, tuple(imgpts[1].ravel()), (0, 255, 0), 5) # Y: Green
cv2.line(img, corner_origin, tuple(imgpts[2].ravel()), (255, 0, 0), 5) # Z: Blue
cv2.imshow('Pose Estimation with Axes', img)
cv2.waitKey(0)
cv2.destroyAllWindows()
else:
print("姿态估计失败。")
else:
print("未检测到棋盘格。")
这段代码做了件很酷的事:它告诉了我们棋盘格在空间中的精确位置(tvec,单位毫米)和朝向(rvec)。tvec的数值大小就对应了距离。你可以移动棋盘格,运行代码,看看tvec的变化是否与你的移动相符。这就是很多AR应用、机器人视觉引导的基础——通过2D图像感知3D世界。
评估结果合理性:
- 检查
tvec的Z分量(通常是tvec[2])。如果棋盘格确实放在相机正前方约1米处,这个值应该接近1000毫米。 - 检查绘制的3D坐标轴是否看起来合理。X轴(红色)和Y轴(绿色)应该沿着棋盘格的边缘,Z轴(蓝色)应该垂直于棋盘格平面指向内部。
- 如果结果明显不对(比如距离算出来是负的或几万毫米),请检查:1) 标定参数
mtx, dist是否正确加载;2) 世界坐标objp的尺寸单位是否与标定时一致;3) 角点检测是否准确。
走到这一步,你已经完成了从相机“体检”到赋予它“深度视觉”的完整闭环。整个过程看似复杂,但拆解成清晰的步骤后,每一步都有OpenCV强大的函数作为支撑。我建议你把代码跑通后,多换几组自己拍的照片试试,亲手调整参数,观察输出结果的变化。只有经过反复实验,你才会对相机标定背后的几何意义和那些数字有更深刻的理解。记住,标定是很多视觉项目的基石,这块基石打牢了,后面盖房子(做应用)才稳当。
559



被折叠的 条评论
为什么被折叠?



