从底层驱动到 OpenCV：深入解析 Linux 摄像头完整技术栈

嵌入式Jerry

于 2025-02-23 23:12:48 发布

阅读量1.3k

点赞数 25

CC 4.0 BY-SA版权

分类专栏：嵌入式硬件文章标签： opencv linux 人工智能计算机视觉开发语言服务器

本文链接：https://blog.youkuaiyun.com/Interview_TC/article/details/145817667

嵌入式硬件专栏收录该内容

32 篇文章

订阅专栏

1. 引言

在嵌入式 Linux（如树莓派、NXP i.MX 8M Plus）上，摄像头数据的完整处理链涉及多个层次：

底层驱动层：设备树 (Device Tree)、MIPI CSI-2 协议、V4L2 (Video4Linux2)
中间件层：libcamera（现代化 ISP 处理）、GStreamer（多媒体流处理）
用户空间应用层：OpenCV（计算机视觉）、AI 框架（如 TensorFlow、YOLO）

本篇文章将深入剖析 Linux 摄像头架构的核心机制，并提供优化方案。

在这里插入图片描述

2. 摄像头的底层工作原理

2.1 硬件结构

摄像头模块通常采用 MIPI CSI-2 接口，它负责高速传输 RAW 数据。摄像头系统包含：

CMOS 传感器：将光信号转换为电子信号
MIPI CSI-2 接口：用于高速串行传输图像数据
ISP（Image Signal Processor）：图像信号处理（部分设备内置 ISP）
I²C 总线：用于控制摄像头参数（如曝光、白平衡）
主机 SoC：解析摄像头数据，进行视频处理（如 NXP i.MX 8M Plus、Raspberry Pi BCM2711）

2.2 设备树 (`Device Tree`)

在 Yocto 或其他嵌入式 Linux 中，设备树 (Device Tree) 定义了摄像头的连接方式和驱动绑定：

&i2c1 {
    status = "okay";
    camera: imx219@10 {
        compatible = "sony,imx219";
        reg = <0x10>;
        vcc-supply = <&vcc_camera>;
    };
};

其中：

compatible = "sony,imx219" 绑定 IMX219 驱动
reg = <0x10> 指定 I²C 地址
vcc-supply 指定摄像头供电

2.3 Linux V4L2 内核驱动

Linux 采用 V4L2（Video4Linux2） 作为摄像头标准 API，摄像头驱动需要遵循以下 关键数据流：

传感器驱动（drivers/media/i2c/imx219.c）
通过 I²C 控制摄像头参数，如分辨率、帧率。
MIPI CSI-2 驱动（drivers/media/platform/raspberrypi/bcm2835-unicam.c）
处理 MIPI CSI-2 数据流，将数据输入到 ISP 或 DMA。
V4L2 框架
在 /dev/videoX 暴露视频设备，用户空间应用可以直接访问数据。

3. V4L2 用户空间 API

Linux 提供了 ioctl() 系统调用，用于直接控制 V4L2 设备。用户可以通过 /dev/videoX 直接读取摄像头数据。

3.1 关键 API

int fd = open("/dev/video0", O_RDWR);  // 打开摄像头设备
struct v4l2_capability cap;
ioctl(fd, VIDIOC_QUERYCAP, &cap);  // 获取摄像头信息

获取支持的格式：

struct v4l2_fmtdesc fmt;
fmt.index = 0;
fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
while (ioctl(fd, VIDIOC_ENUM_FMT, &fmt) == 0) {
    printf("Format: %s\n", fmt.description);
    fmt.index++;
}

设置帧格式：

struct v4l2_format fmt;
fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
fmt.fmt.pix.width = 1920;
fmt.fmt.pix.height = 1080;
fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV;
ioctl(fd, VIDIOC_S_FMT, &fmt);

3.2 V4L2 `mmap()` 直接访问摄像头数据

struct v4l2_buffer buf;
memset(&buf, 0, sizeof(buf));
buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory = V4L2_MEMORY_MMAP;
ioctl(fd, VIDIOC_QBUF, &buf);
mmap(NULL, buf.length, PROT_READ | PROT_WRITE, MAP_SHARED, fd, buf.m.offset);

这样可以直接访问摄像头数据，提高性能。

4. libcamera：现代化 ISP 处理

4.1 为什么 V4L2 不够？

V4L2 无法：

处理 自动曝光、HDR、白平衡
进行 ISP（图像信号处理）
适配 高端摄像头传感器

4.2 libcamera 关键功能

通过 Pipeline Handlers 适配不同硬件（如 Raspberry Pi rpi、NXP imx8）
使用 Media Controller API 进行多摄像头管理
兼容 V4L2，同时提供更高级的 ISP 处理能力

4.3 libcamera 实践

libcamera-hello

将图像保存：

libcamera-jpeg -o test.jpg

获取 RAW 数据：

libcamera-raw -o raw.bin

5. OpenCV 结合 GStreamer 处理摄像头数据

5.1 为什么用 GStreamer？

GStreamer 能够：

直接访问摄像头流（v4l2src）
进行格式转换（videoconvert）
和 OpenCV 交互（appsink）

5.2 OpenCV 结合 GStreamer 读取摄像头

import cv2

pipeline = "v4l2src device=/dev/video0 ! videoconvert ! video/x-raw,format=BGR ! appsink"
cap = cv2.VideoCapture(pipeline, cv2.CAP_GSTREAMER)

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break
    cv2.imshow("Camera", frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cap.release()
cv2.destroyAllWindows()

这个管道将摄像头流转换为 BGR 格式，直接用于 OpenCV 处理。

6. 结合 AI 进行目标检测

6.1 使用 OpenCV 加载 YOLO

import cv2
import numpy as np

net = cv2.dnn.readNet("yolov4.weights", "yolov4.cfg")
cap = cv2.VideoCapture(0)

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break
    blob = cv2.dnn.blobFromImage(frame, 0.00392, (416, 416), swapRB=True, crop=False)
    net.setInput(blob)
    detections = net.forward()
    cv2.imshow("YOLO Detection", frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cap.release()
cv2.destroyAllWindows()