h264 视频流中添加目标检测的位置、类型信息到SEI帧

在 H.264 视频编码中，SEI（Supplemental Enhancement Information）消息用于传输额外的、非编码的数据，例如目标检测的信息。SEI 数据可以嵌入到 H.264 流中，以在解码过程中传递这些附加信息。

一、步骤

1. 确定 SEI 类型：定义用于传递目标检测信息的 SEI 类型。H.264 标准允许用户定义自定义 SEI 消息类型。你可以选择一个未被标准使用的 SEI 类型（例如，0x1F 是一个预留的 SEI 类型）或自定义类型。

2. 创建 SEI 消息：

   • 帧级 SEI：SEI 消息可以附加到视频帧中。需要在编码过程中生成 SEI 消息，并将其插入到 NAL 单元中。
   • SEI 结构：SEI 消息通常包含一个类型字段和一个负载字段。你可以在负载字段中存储目标检测信息。

3. SEI 负载格式：目标检测信息可能包括目标的位置、类型等。可以使用以下格式之一（或设计自己的格式）来表示这些信息：

   • 位置：可以使用目标的边界框（bounding box）来表示，如 (x, y, width, height)。
   • 类型：用整数或字符串表示目标类型。

4. 插入 SEI 消息：将创建的 SEI 消息插入到 H.264 流中，通常是在 IDR 帧之前。SEI 消息是通过特定的 NAL 单元类型插入的，如 NAL_UNIT_SEI。

二、SEI 消息格式

假设 SEI 类型为 0x1F，并且负载格式