OpenCvSharp相机标定教程：消除畸变与三维重建
项目地址: https://gitcode.com/gh_mirrors/op/opencvsharp 引言：为什么需要相机标定？
在计算机视觉（Computer Vision）应用中，你是否遇到过这些问题：直线拍摄成曲线、矩形物体边缘扭曲、三维测量结果偏差？这些大多源于相机透镜的固有畸变。本教程将通过OpenCvSharp（OpenCV的C#绑定库）实现相机标定，帮助你消除图像畸变，为三维重建、SLAM（同步定位与地图构建）等高级应用奠定基础。
读完本文，你将掌握：
- 相机标定的数学原理与关键参数
- 使用棋盘格进行图像采集的规范流程
- OpenCvSharp实现标定的完整代码框架
- 畸变校正与三维点云重建的工程实践
- 标定精度评估与优化技巧
一、相机标定核心原理
1.1 坐标系转换模型
相机成像过程涉及四个坐标系的转换，OpenCvSharp通过CalibrateCamera函数实现这些转换的参数求解：
1.2 关键参数解析
| 参数类型 | 数学表示 | OpenCvSharp对应类 | 物理意义 |
|---|---|---|---|
| 内参矩阵 | K = [[fx,0,cx],[0,fy,cy],[0,0,1]] | Mat | fx/fy:焦距，cx/cy:主点坐标 |
| 畸变系数 | D = [k1,k2,p1,p2,k3] | Vec | 径向畸变(k)与切向畸变(p) |
| 外参矩阵 | [R|t] | Mat+Vec3d | 世界坐标到相机坐标的转换 |
注意：OpenCvSharp的
CalibrateCamera函数会同时计算内参和外参，返回重投影误差（RMS）作为精度指标。
二、标定流程与环境准备
2.1 硬件与软件要求
- 标定板：黑白棋盘格（建议8×6内角点，方格尺寸25mm）
- 相机：USB摄像头或工业相机（分辨率≥1280×720）
- 开发环境：.NET 5.0+，OpenCvSharp4 4.8.0+
- NuGet依赖：
Install-Package OpenCvSharp4 Install-Package OpenCvSharp4.Extensions
2.2 图像采集规范
为确保标定精度，需采集15-20张不同角度的棋盘格图像：
- 拍摄角度覆盖0°-60°倾斜范围
- 棋盘格应填满图像不同区域（中心、边缘、四角）
- 光照均匀，避免反光和阴影
- 图像清晰聚焦，棋盘格角点可辨
三、OpenCvSharp标定实现
3.1 核心API解析
OpenCvSharp提供Cv2.CalibrateCamera方法实现标定，关键重载如下：
// 数组形式输入（适合少量图像）
double CalibrateCamera(
Point3f[][] objectPoints, // 世界坐标系点集
Point2f[][] imagePoints, // 图像坐标系点集
Size imageSize, // 图像尺寸
Mat cameraMatrix, // 输出内参矩阵
Mat distCoeffs, // 输出畸变系数
out Vec3d[] rvecs, // 输出旋转向量数组
out Vec3d[] tvecs, // 输出平移向量数组
CalibrationFlags flags = 0 // 标定标志位
);
常用标定标志位（CalibrationFlags）：
FixPrincipalPoint：固定主点(cx, cy)在图像中心FixAspectRatio：保持fx/fy比例不变UseIntrinsicGuess：使用初始内参猜测值RationalModel：启用鱼眼相机的理性畸变模型
3.2 完整代码实现
步骤1：角点检测
/// <summary>
/// 从棋盘格图像中检测角点
/// </summary>
/// <param name="imagePath">图像路径</param>
/// <param name="patternSize">棋盘格内角点尺寸(行,列)</param>
/// <returns>角点坐标集合</returns>
public static List<Point2f> DetectChessboardCorners(string imagePath, Size patternSize)
{
using var image = new Mat(imagePath);
using var gray = new Mat();
Cv2.CvtColor(image, gray, ColorConversionCodes.BGR2GRAY);
var corners = new Point2f[0];
bool found = Cv2.FindChessboardCorners(gray, patternSize, out corners);
if (found)
{
// 亚像素级角点优化
Cv2.CornerSubPix(
gray,
corners,
new Size(11, 11), // 搜索窗口大小
new Size(-1, -1), // 死区大小
new TermCriteria(CriteriaTypes.Eps | CriteriaTypes.MaxIter, 30, 0.001)
);
// 可视化角点检测结果
Cv2.DrawChessboardCorners(image, patternSize, corners, found);
Cv2.ImShow("Chessboard Corners", image);
Cv2.WaitKey(500);
}
return found ? corners.ToList() : null;
}
步骤2：标定执行
public class CameraCalibrator
{
private List<Point3f[]> _objectPoints = new(); // 世界坐标点集
private List<Point2f[]> _imagePoints = new(); // 图像坐标点集
private Size _imageSize; // 图像尺寸
private Size _patternSize; // 棋盘格内角点尺寸
public CameraCalibrator(Size patternSize)
{
_patternSize = patternSize;
// 初始化世界坐标系点（Z轴为0）
var objPts = new Point3f[patternSize.Width * patternSize.Height];
for (int i = 0; i < patternSize.Height; i++)
{
for (int j = 0; j < patternSize.Width; j++)
{
objPts[i * patternSize.Width + j] = new Point3f(j, i, 0);
}
}
_objectPoints.Add(objPts);
}
/// <summary>
/// 添加标定图像
/// </summary>
public bool AddImage(string imagePath)
{
var corners = DetectChessboardCorners(imagePath, _patternSize);
if (corners == null) return false;
_imagePoints.Add(corners.ToArray());
using var img = new Mat(imagePath);
_imageSize = img.Size();
return true;
}
/// <summary>
/// 执行相机标定
/// </summary>
public CalibrationResult Calibrate()
{
if (_imagePoints.Count < 5)
throw new InvalidOperationException("至少需要5张标定图像");
var cameraMatrix = new Mat(3, 3, MatType.CV_64FC1);
var distCoeffs = new Mat(1, 5, MatType.CV_64FC1);
Vec3d[] rvecs;
Vec3d[] tvecs;
// 执行标定
double rms = Cv2.CalibrateCamera(
_objectPoints.ToArray(),
_imagePoints.ToArray(),
_imageSize,
cameraMatrix,
distCoeffs,
out rvecs,
out tvecs,
CalibrationFlags.RationalModel // 使用理性畸变模型
);
return new CalibrationResult
{
RMS = rms,
CameraMatrix = cameraMatrix,
DistCoeffs = distCoeffs,
RotationVectors = rvecs,
TranslationVectors = tvecs,
ImageSize = _imageSize
};
}
}
步骤3：畸变校正
/// <summary>
/// 校正图像畸变
/// </summary>
/// <param name="inputImage">原始畸变图像</param>
/// <param name="cameraMatrix">内参矩阵</param>
/// <param name="distCoeffs">畸变系数</param>
/// <returns>校正后图像</returns>
public static Mat UndistortImage(Mat inputImage, Mat cameraMatrix, Mat distCoeffs)
{
using var undistorted = new Mat();
// 方法1：直接校正（适合单张图像）
Cv2.Undistort(inputImage, undistorted, cameraMatrix, distCoeffs);
// 方法2：使用重映射（适合多张图像，效率更高）
// Mat map1 = new Mat(), map2 = new Mat();
// Cv2.InitUndistortRectifyMap(cameraMatrix, distCoeffs, Mat.Eye(3, 3, MatType.CV_64F),
// cameraMatrix, inputImage.Size(), MatType.CV_16SC2, map1, map2);
// Cv2.Remap(inputImage, undistorted, map1, map2, InterpolationFlags.Linear);
return undistorted;
}
3.3 标定结果评估
重投影误差分析
重投影误差（RMS）是评估标定精度的核心指标，计算公式：
$$ RMS = \sqrt{\frac{1}{N}\sum_{i=1}^{N}\sum_{j=1}^{M} |p_{ij} - \hat{p}_{ij}|^2} $$
其中 $p_{ij}$ 是检测到的角点，$\hat{p}_{ij}$ 是通过标定参数重投影得到的角点。
/// <summary>
/// 计算重投影误差
/// </summary>
public static double CalculateReprojectionError(
List<Point3f[]> objectPoints,
List<Point2f[]> imagePoints,
Mat cameraMatrix,
Mat distCoeffs,
Vec3d[] rvecs,
Vec3d[] tvecs)
{
double totalError = 0;
int totalPoints = 0;
for (int i = 0; i < objectPoints.Count; i++)
{
var projectedPoints = new Point2f[objectPoints[i].Length];
// 投影三维点到图像平面
Cv2.ProjectPoints(
objectPoints[i],
rvecs[i],
tvecs[i],
cameraMatrix,
distCoeffs,
projectedPoints
);
// 计算平均误差
double error = 0;
for (int j = 0; j < objectPoints[i].Length; j++)
{
error += Cv2.Norm(imagePoints[i][j] - projectedPoints[j], NormTypes.L2);
}
totalError += error;
totalPoints += objectPoints[i].Length;
}
return Math.Sqrt(totalError / totalPoints);
}
理想结果：RMS应小于0.5像素，优秀结果可达到0.1-0.3像素。若RMS大于1像素，需重新采集图像或检查标定流程。
四、三维重建应用
4.1 标定参数的三维应用
相机标定后，可通过内外参数实现二维图像到三维空间的转换：
/// <summary>
/// 将图像点转换为三维射线
/// </summary>
/// <param name="imagePoint">图像像素坐标</param>
/// <param name="cameraMatrix">内参矩阵</param>
/// <param name="rvec">旋转向量</param>
/// <param name="tvec">平移向量</param>
/// <returns>三维射线方向向量</returns>
public static Vec3d ImagePointTo3DRay(Point2d imagePoint, Mat cameraMatrix, Vec3d rvec, Vec3d tvec)
{
// 内参矩阵元素
double fx = cameraMatrix.At<double>(0, 0);
double fy = cameraMatrix.At<double>(1, 1);
double cx = cameraMatrix.At<double>(0, 2);
double cy = cameraMatrix.At<double>(1, 2);
// 归一化图像坐标
double x = (imagePoint.X - cx) / fx;
double y = (imagePoint.Y - cy) / fy;
// 旋转矩阵
Mat R = new Mat();
Cv2.Rodrigues(rvec, R); // 将旋转向量转换为旋转矩阵
// 射线方向向量（相机坐标系）
Vec3d rayCamera = new Vec3d(x, y, 1);
// 转换到世界坐标系
Vec3d rayWorld = new Vec3d(
R.At<double>(0, 0) * rayCamera[0] + R.At<double>(0, 1) * rayCamera[1] + R.At<double>(0, 2) * rayCamera[2],
R.At<double>(1, 0) * rayCamera[0] + R.At<double>(1, 1) * rayCamera[1] + R.At<double>(1, 2) * rayCamera[2],
R.At<double>(2, 0) * rayCamera[0] + R.At<double>(2, 1) * rayCamera[1] + R.At<double>(2, 2) * rayCamera[2]
);
return rayWorld;
}
4.2 双目立体匹配（进阶）
对于双目相机系统，标定可进一步实现深度估计：
OpenCvSharp提供StereoBM和StereoSGBM类实现视差计算：
// 立体匹配计算视差图
var stereo = StereoSGBM.Create(
minDisparity: 0,
numDisparities: 128, // 必须是16的倍数
blockSize: 3,
P1: 8 * 3 * 3 * 3, // 平滑项参数
P2: 32 * 3 * 3 * 3,
disp12MaxDiff: 1,
preFilterCap: 63,
uniquenessRatio: 10,
speckleWindowSize: 100,
speckleRange: 32
);
Mat disparity = new Mat();
stereo.Compute(leftRectified, rightRectified, disparity);
五、常见问题与解决方案
5.1 标定失败问题排查
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
| 角点检测失败 | 棋盘格不清晰、光照不均 | 提高图像质量，调整FindChessboardCorners参数 |
| 标定结果RMS过大 | 图像数量不足、角度单一 | 采集更多角度图像（至少10张） |
| 内参矩阵异常 | 标定板尺寸设置错误 | 确认棋盘格实际尺寸与代码中一致 |
| 畸变校正后图像拉伸 | 相机矩阵初始化错误 | 使用Mat.Zeros初始化内参矩阵 |
5.2 标定精度优化技巧
-
图像采集优化：
- 使用高分辨率图像（建议≥2000×1500像素）
- 保持标定板平面度（使用硬质棋盘格）
- 角点数量适中（建议8×6至12×10）
-
算法参数调优：
// 使用初始内参猜测值提高精度 cameraMatrix.SetTo(Scalar.All(0)); cameraMatrix.At<double>(0, 0) = 1000; // 初始fx猜测 cameraMatrix.At<double>(1, 1) = 1000; // 初始fy猜测 cameraMatrix.At<double>(0, 2) = imageSize.Width / 2; // 初始cx cameraMatrix.At<double>(1, 2) = imageSize.Height / 2; // 初始cy // 使用固定主点和纵横比 CalibrationFlags flags = CalibrationFlags.FixPrincipalPoint | CalibrationFlags.FixAspectRatio; -
误差剔除：
// 移除重投影误差过大的图像 List<Point3f[]> goodObjectPoints = new(); List<Point2f[]> goodImagePoints = new(); for (int i = 0; i < reprojectionErrors.Count; i++) { if (reprojectionErrors[i] < 1.0) // 阈值设为1像素 { goodObjectPoints.Add(objectPoints[i]); goodImagePoints.Add(imagePoints[i]); } }
六、总结与展望
本教程系统介绍了使用OpenCvSharp进行相机标定的完整流程，从原理到实践，涵盖了图像采集、角点检测、参数求解、畸变校正和三维重建等关键环节。相机标定作为计算机视觉的基础技术，其精度直接影响后续应用的性能，建议在实际项目中：
- 定期标定相机（环境变化或相机移动后）
- 保存标定参数，建立参数数据库
- 结合实际应用场景评估标定效果
未来发展方向：
- 基于深度学习的相机标定技术（无需传统标定板）
- 动态环境下的在线标定方法
- 多相机系统的全局标定与协同工作
通过本文学习，你已掌握OpenCvSharp相机标定的核心技术，可进一步探索更复杂的三维视觉应用。如有疑问或技术交流，欢迎在评论区留言讨论。
附录：完整代码工程结构
CameraCalibration/
├─ Calibration/ # 标定核心模块
│ ├─ ChessboardDetector.cs # 棋盘格角点检测
│ ├─ CameraCalibrator.cs # 标定执行类
│ └─ CalibrationResult.cs # 标定结果数据结构
├─ ImageProcessing/ # 图像处理模块
│ └─ DistortionCorrector.cs # 畸变校正
├─ 3DReconstruction/ # 三维重建模块
│ └─ PointCloudGenerator.cs # 点云生成
└─ Program.cs # 主程序入口
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
