无人机视觉状态估计技术发展历史：从摄像机模型到嵌入式实现

视觉感知已成为现代无人机自主飞行的眼睛，而精确的状态估计则是它们稳定飞行的基石。

在四旋翼无人机自主飞行技术中，基于视觉的状态估计是实现环境感知、导航避障和精准控制的核心环节。《四旋翼无人机控制：基于视觉的悬停与导航》第 5 章系统性地阐述了这一技术体系。本文将结合主流无人机技术和前沿研究，深入解析用于状态估计的图像传感器技术，包括摄像机建模、立体成像、光流计算及嵌入式实现方案，并梳理其技术演进脉络。

一、摄像机模型与标定：状态估计的几何基础

摄像机是通过光学成像原理将三维世界映射到二维图像的关键传感器。在无人机状态估计中，精确的摄像机模型直接影响位姿解算的准确性。

（一）摄像机标定的原理与方法

摄像机标定的核心是建立二维像素坐标与三维空间坐标的映射关系，涉及以下参数：

• 内参矩阵：焦距（fx, fy）、主点坐标（cx, cy）、畸变系数（k1, k2, p1, p2）

• 外参矩阵：相机相对于无人机机体的旋转矩阵 R 和平移向量 t

传统标定方法（如张正友标定法）依赖棋盘格靶标，通过多角度拍摄求解参数。但在无人机应用中，还需考虑：

• 振动影响：电机振动导致图像模糊，需配合减震结构（如减震球）

• 温度漂移：环境温度变化导致镜头形变和 IMU 零偏，需采用 BP 神经网络在线补偿

方法	精度	复杂度	适用场景	主流工具
棋盘格离线标定	高（±0.1 像素）	中	实验室环境	MATLAB Camera Calibrator
多位置非线性优化	极高（±0.05 像素）	高	工业级无人机	Kalibr 工具箱
在线自标定	中（±0.5 像素）	低	动态飞行环境	VINS-Mono 算法
温度补偿标定	高（±0.2 像素）	高	室外高低温场景	BP 神经网络模型

（二）标定实践挑战与解决方案

以 D435 深度相机与 Pixhawk 飞控的联合标定为例：

• 时间同步：需对齐相机图像时间戳和 IMU 数据，通过加权预积分实现

• 外参标定误差：相机 - IMU 的变换矩阵误差需＜1mm，否则导致 VSLAM 漂移

• 自动化工具链：

# Kalibr标定流程示例

rosrun kalibr kalibr_calibrate_imu_camera \

--target april_6x6.yaml \

--cam cam_chain.yaml \

--imu imu_params.yaml \

--bag dynamic.bag

二、立体成像系统：深度感知的核心手段

双目立体视觉通过模拟人眼视差原理获取环境深度信息，是无人机避障与三维重建的基础。

（一）极几何约束与对极校正

• 极平面：由空间点 P 和两个相机光心 O1、O2 定义的平面

• 极线约束：点 P 在左右图像的投影点 p1、p2 必位于对应的极线上

• 本质矩阵 E：编码相机间的相对运动（E = [t]×R）

立体校正将相机图像平面重投影到同一平面，使极线水平对齐，大幅简化匹配搜索：

• Bouguet 算法：最小化图像重投影畸变

• 校正后视差 d 与深度 Z 成反比：Z = f・B/d（B 为基线距离）

（二）立体标定的工程挑战

工业无人机如 DJI M210 虽配备前置双目相机，但其标定面临：

• 非标定支持：官方 SDK 未开放校准接口，用户无法更新外参

• 动态环境干扰：温度变化导致镜头形变，外参漂移达 0.01mm/℃

• 解决方案：

• 采用主动散热结构稳定镜头温度
• 开发在线外参估计模块（如 ORB-SLAM3 的双目 - IMU 联合优化）

三、光流技术：动态场景的运动估计

光流（Optical Flow）通过分析连续帧间的像素运动估计无人机自身运动，在 GPS 拒止环境下尤为重要。

（一）计算方法与实时性优化

• LK 光流法：基于灰度不变假设，求解稀疏特征点运动
• 目标函数：minΣ[I (x+dx, t+dt) - I (x,t)]²
• 实时性强，适合嵌入式平台（如 PX4 飞控）
• HS 光流法：全局稠密光流，计算量大但精度高

（二）IMU 辅助的误匹配剔除

无人机高速机动导致图像模糊，传统 LK 光流产生大量误匹配。融合 IMU 数据可显著提升鲁棒性：

• 运动预测：通过 IMU 预积分估计相邻帧间姿态变化

• 重投影验证：预测特征点位置，剔除偏离阈值（如＞5 像素）的匹配点

• 自适应权重：根据运动激烈程度调整光流置信度

方法	特征密度	计算复杂度	抗模糊能力	适用平台
LK 稀疏光流	低（数百点）	O(n)	弱	嵌入式（OpenMV）
事件相机光流	像素级	O(events)	极强	专用处理器
IMU 辅助光流	中（千级点）	O(n)+IMU	强	机载计算机（Odroid XU4）
深度学习光流	稠密	GPU 依赖	中	NVIDIA Jetson

事件相机（Event Camera）的兴起为解决高速运动模糊提供新思路：

• 原理：输出像素级亮度变化（事件流），而非完整图像帧

• 优势：无运动模糊、微秒级延迟、140dB 高动态范围

• 应用：Ultimate SLAM 系统融合事件 + 图像 + IMU，在弱光环境下将状态估计精度提升 85%

四、成像系统实现：架构选择与工程权衡

四旋翼无人机的视觉系统实现需在性能、功耗和实时性之间取得平衡。

（一）分离式 vs 嵌入式系统

分离式系统（如 DJI M210）

• 相机：独立成像单元（如 Zenmuse X7）
• 处理单元：机载计算机（如 Manifold 2-G）
• 优点：算力强（＞100 GFLOPS），支持 6K 视频处理
• 缺点：功耗高（＞30W），重量大（＞200g）

嵌入式系统（如 EVO II Enterprise V3）

• 相机：定制化集成（1/1.28 英寸 RYYB CMOS）
• 处理单元：SoC 芯片（如高通 QCS605）
• 优点：低功耗（＜10W），轻量化（整机＜1kg）
• 缺点：算力受限（＜5 TOPS）

（二）单目与立体视觉的挑战对比

挑战维度	单目系统	立体系统	工业解决方案
尺度不确定性	严重（需 IMU 融合）	已通过基线固定	紧耦合 VIO（如 VINS-Fusion）
初始化速度	慢（需运动激励）	快（直接三角化）	运动约束初始化
计算复杂度	低（单路图像）	高（双目匹配 + 校正）	硬件加速（Movidius VPU）
有效距离	中（0.5-20m）	短（0.2-10m）	混合传感器（激光雷达辅助）

（三）典型实现方案

单目系统：

• 硬件配置：全局快门相机（如 Onsemi MT9V034）+ IMU（BMI088）

• 标定流程：

• 相机内参标定（棋盘格）
• IMU 内参标定（Allan 方差分析）
• 相机 - IMU 外参标定（Kalibr 工具箱）
• 位估估计：基于 MSCKF（Multi-State Constraint Kalman Filter）的 VIO

立体系统：

• 硬件配置：平行基线双目（基线 60-120mm）+ 同步触发模块

• 深度计算：

# OpenCV视差计算示例

stereo = cv2.StereoSGBM_create(

minDisparity=0,

numDisparities=64,

blockSize=11

)

disparity = stereo.compute(left_img, right_img)

• 嵌入式优化：FPGA 加速视差计算（如 Zynq-7000 平台）

五、技术发展历史：从实验室到工业应用

无人机视觉状态估计技术经历了从理论验证到工程落地的演进：

时间阶段	技术突破	代表性系统	定位精度提升	应用场景扩展
2010-2014	单目 VIO 雏形	PTAM	1-3m（无尺度）	室内定点悬停
2015-2018	紧耦合 VIO	OKVIS、VINS-Mono	0.5-1m	室外低速飞行
2019-2022	多传感器融合	Ultimate SLAM	0.1-0.3m	高速 / 弱光飞行
2023 至今	在线标定 + AI 优化	自适应 VIO 专利	0.05-0.1m	复杂工业巡检

关键转折点：

• 2017 年：VINS-Mono 开源，推动基于滤波向非线性优化的范式迁移

• 2021 年：事件相机引入 SLAM，解决高速运动模糊问题

• 2024 年：上海交大提出加速联合标定法，标定时间缩短 60%

六、未来趋势与挑战

随着无人机应用场景的复杂化，视觉状态估计技术面临新挑战：

极端环境适应性

• 解决方案：超感光算法（如 EVO II 的 RYYB 传感器）+ 热成像融合
• 案例：消防无人机在浓烟中通过 640×512 热成像仪定位火源

多模态传感器深度融合

• 视觉 - 惯性 - 事件相机紧耦合（Ultimate SLAM 框架）
• 激光雷达辅助深度验证（如 Livox MID-40）

边缘智能进化

• 端侧模型轻量化：TensorRT 加速的光流网络
• 自监督学习：利用无标签数据训练深度估计模型

自主性边界拓展

• 澳大利亚悉尼大学开发双向推力无人机，实现倒立悬停与观测
• 蝙蝠仿生机构设计突破传统姿态限制

从棋盘格标定到事件驱动的视觉里程计，无人机视觉状态估计技术的演进史，就是一部人类赋予机器感知能力的探索史。

技术的终极目标从未改变 —— 让无人机在任何时间、任何地点，都能像鸟儿一样自由而精准地感知世界。