57、树莓派图像、视频与音频处理全解析

树莓派图像、视频与音频处理全解析

1. 硬件连接与设备映射

在实际应用中，可将树莓派相机（RPi camera）和 USB 相机连接到树莓派上。例如，USB 网络摄像头相关的音频设备会被映射到 /dev/snd/controlC1 。

2. Video4Linux2（V4L2）概述

V4L2 是一个与 Linux 内核紧密集成的视频捕获驱动框架，由 uvcvideo 内核模块（LKM）提供支持。它为多种视频设备，如网络摄像头、PCI 视频捕获卡以及电视（DVB - T/S）调谐卡等提供驱动。V4L2 主要通过以下几种接口类型来支持视频（和音频）设备：
- 视频捕获接口 ：用于从捕获设备（如网络摄像头、电视调谐器或视频捕获设备）捕获视频。
- 视频输出接口 ：适用于视频输出设备（如视频传输设备或视频流设备）。
- 视频覆盖接口 ：允许直接显示视频数据，无需 CPU 对数据进行处理。
- 视频消隐间隔（VBI）接口 ：可访问在模拟视频信号的 VBI 期间传输的旧数据（如图文电视）。
- 无线电接口 ：用于访问 AM/FM 调谐器的音频流。

V4L2 支持多种类型的设备，其功能较为复杂。除了支持视频输入/输出外，V4L2 API 还为编解码器和视频特效设备提供存根，可对视频流数据进行操作。使用 V4L2 从网络摄像头设备捕获视频数据，可按以下步骤进行（顺序不固定）：
1. 打开 V4L2