[FPGA Video IP] Scene Change Detection

Xilinx Video Scene Change Detection IP (PG322) 详细介绍

概述

Xilinx LogiCORE™ IP Video Scene Change Detection（场景变化检测，SCD）核（PG322）是一个专为视频处理设计的模块，用于检测连续视频帧之间的场景变化。该 IP 核通过计算垂直子采样亮度（Luma）帧的直方图，并使用绝对差之和（Sum of Absolute Differences, SAD）比较连续帧的直方图，判断是否发生场景变化。它支持 AXI4-Stream 或内存映射 AXI4 接口输入，通过 AXI4-Lite 接口进行控制，提供高效的场景变化检测功能。SCD IP 核广泛应用于视频编码优化、视频索引和语义分割等场景，支持多种 AMD FPGA 和 SoC 设备，适用于实时视频处理系统。

主要特性

• 接口：
  • 输入：
    • AXI4-Stream 视频协议（符合 Vivado AXI Reference Guide UG1037），支持单一视频流。
    • 内存映射 AXI4 接口（m_axi_mm2s），支持最多 8 个视频流从外部内存（如 DDR3/4）读取。
  • 输出：寄存器接口输出场景变化检测结果（SAD 值和变化标志）。
  • 控制：AXI4-Lite 从接口，用于配置帧大小、视频格式和子采样参数。
• 视频格式：
  • AXI4-Stream 模式：支持 RGB、YUV 4:4:4、YUV 4:2:2、YUV 4:2:0。
  • 内存映射模式：支持 Y8 和 Y10 亮度格式。
• 数据宽度：
  • AXI4-Stream：支持 8、10、12、16 位每颜色分量。
  • 内存映射：支持 8 或 10 位每像素（仅亮度）。
• 每时钟像素数（PPC）：
  • AXI4-Stream 模式：支持 1、2、4 PPC。
  • 内存映射模式：固定 1 PPC。
• 分辨率与帧率：
  • 支持空间分辨率从 64x64 到 8192x4320（8K）。
  • 支持 4K@60fps（所有支持的设备家族）。
• 场景变化检测算法：
  • 计算垂直子采样亮度帧的直方图（可配置子采样值）。
  • 使用 SAD 比较连续帧直方图，输出场景变化标志和 SAD 值。
• 最大频率：
  • UltraScale+、Virtex-7、Kintex-7、Versal（-1 速度等级及以上）：300 MHz。
  • Artix-7（-2 速度等级及以上）：150 MHz。
• 内存支持：
  • 支持 32 位和 64 位 DDR 内存地址访问。
• 设备支持：
  • 兼容 Artix-7、Kintex-7、Virtex-7、Zynq-7000、UltraScale、UltraScale+、Versal AI Core、Versal Premium 等。
• 设计工具：
  • 支持 Vivado Design Suite。
• 性能：
  • 低资源占用，适合嵌入式和实时视频处理。
  • 支持多流处理（内存映射模式下最多 8 流）。
• 其他特性：
  • 免费许可，包含在 Vivado 工具中。
  • 支持动态配置帧大小、视频格式和子采样参数。
  • 提供中断支持，监控帧完成、错误等事件。

应用场景

1. 视频编码优化：

   • 在视频编码器（如 H.264、H.265）中检测场景变化，通知编码器更新参考帧，优化码率控制。
   • 避免场景变化时因历史统计数据失效导致的码率过冲或不足，提升编码质量。
   • 适用于流媒体平台、视频会议系统、监控录像设备。

2. 视频索引与搜索：

   • 在视频内容管理系统中，通过检测场景变化生成关键帧索引，加速视频检索和剪辑。
   • 适用于视频点播（VOD）平台、新闻档案管理系统。

3. 语义分割与场景分析：

   • 在计算机视觉应用中，检测场景变化以触发语义分割或目标检测算法，识别视频中的新场景或对象。
   • 适用于自动驾驶（ADAS）、无人机视觉、智能监控系统。

4. 广播与专业视频设备：

   • 在直播或广播系统中，检测场景变化以调整编码参数或触发广告插入。
   • 适用于演播室、体育直播设备。

5. 视频监控与安防：

   • 在监控系统中，检测场景变化（如物体移动或环境变化）以触发警报或录像。
   • 适用于智能摄像头、交通监控系统。

6. 硬件验证与测试：

   • 在视频系统开发中，结合测试图案生成器（TPG）和视频时序控制器（VTC），验证视频处理流水线的场景变化检测功能。
   • 适用于 FPGA 原型设计和硬件在环（HIL）测试。

使用指南

设计流程

1. IP 配置：

   • 在 Vivado IP Integrator 中添加 Video Scene Change Detection IP 核。
   • 选择输入模式（AXI4-Stream 或内存映射 AXI4）。
   • 配置视频格式（RGB、YUV 4:4:4/4:2:2/4:2:0 或 Y8/Y10）、PPC（1、2、4，仅 AXI4-Stream）和数据宽度（8/10/12/16 位）。
   • 设置最大帧大小（宽度和高度）和子采样值（默认 2 或 4）。
   • 配置流数量（内存映射模式下最多 8 流）。
   • 设置 AXI4-Lite 地址范围和中断支持。

2. 视频流水线集成：

   • AXI4-Stream 模式：
     • 输入连接到视频源（如 TPG、Video In to AXI4-Stream）。
     • 输出通过寄存器接口（AXI4-Lite）读取 SAD 值和场景变化标志。
   • 内存映射模式：
     • 输入通过 AXI4 主接口（m_axi_mm2s）从 DDR 读取帧，搭配 Video Frame Buffer Write IP。
     • 使用 AXI Interconnect 连接到内存控制器（如 MIG DDR3/4）。
   • 搭配 VTC IP 提供时序信号（如 Vsync、Hsync）。

3. 时钟管理：

   • 使用时钟向导（Clocking Wizard）生成像素时钟、AXI4 主接口时钟和 AXI4-Lite 控制时钟。
   • 确保时钟频率支持目标分辨率和帧率（例如，4K@60Hz 需要约 297 MHz，2 PPC）。
   • 验证输入、输出和控制接口的时钟域隔离。

4. 控制与软件开发：

   • 通过 AXI4-Lite 接口使用处理器（如 Zynq PS 或 MicroBlaze）配置帧大小、视频格式和子采样参数。
   • 使用 Xilinx 提供的裸机驱动（位于 Vitis 嵌入式软件库）或 Linux 驱动简化开发。
   • 参考驱动示例（如 xv_scenechange_example.c）实现动态配置和 SAD 值读取。
   • 读取寄存器中的 SAD 值和场景变化标志，设置阈值以判断场景变化。

5. 验证与调试：

   • 使用 Vivado 仿真工具验证 AXI4-Stream 或 AXI4 主接口信号（TValid、TReady、ARADDR）。
   • 使用 TPG 生成测试视频流（如场景切换图案）验证场景变化检测的准确性。
   • 检查状态寄存器（如 SAD 值、错误代码）以诊断问题。
   • 使用 Vivado ILA 监控硬件中的视频流和寄存器输出。
   • 参考 PG322 示例设计，验证单流或多流场景。

示例设计

以下是一个典型的场景变化检测设计：

• 模块：
  • TPG IP 生成 AXI4-Stream 视频流（1080p60，YUV 4:2:2）。
  • Video Scene Change Detection IP（AXI4-Stream 模式）检测场景变化，输出 SAD 值。
  • AXI4-Stream to Video Out IP（可选）将输入流输出到显示器以验证。
  • VTC IP 提供时序信号。
• 控制：
  • Zynq PS 通过 AXI4-Lite 配置 SCD IP（帧大小、子采样值）。
  • 使用裸机驱动读取 SAD 值，设置阈值以触发场景变化中断。
• 时钟：
  • 时钟向导生成 148.5 MHz 像素时钟（1 PPC）和 100 MHz AXI4-Lite 时钟。
• 参考：PG322 示例设计提供了基于 Zynq 的单流检测实现。

使用注意事项

1. 输入模式选择：

   • AXI4-Stream 模式适合单流实时处理，延迟低；内存映射模式适合多流或离线处理，但需更高内存带宽。
   • 内存映射模式下，确保 DDR 内存支持多流带宽（例如，4K@60Hz x 8 流需要高性能控制器）。

2. 视频格式与数据宽度：

   • 确保输入视频格式（RGB、YUV）与配置匹配。内存映射模式仅支持 Y8/Y10 亮度格式。
   • 验证数据宽度（8/10/12/16 位）与上下游模块兼容，避免数据截断。

3. 子采样配置：

   • 子采样值（默认 2 或 4）影响直方图精度和计算复杂度。较低子采样（如 2）提供更高精度但增加资源占用。
   • 根据应用需求（如实时性 vs. 准确性）调整子采样值。

4. SAD 阈值设置：

   • 场景变化检测依赖 SAD 值与用户定义阈值的比较。需通过实验确定合适阈值，以平衡误报和漏报。
   • 动态场景（如快速运动）可能需要更高阈值以避免误判。

5. AXI4-Stream 协议合规性：

   • 确保 AXI4-Stream 输入信号（TValid、TReady、TData、TUser、TLast）符合协议要求。
   • 若上游模块不支持 TUser 信号，使用 AXI4-Stream Subset Converter IP 进行转换（参考 PG085）。

6. 内存带宽与时钟频率：

   • 内存映射模式下，多流高分辨率（如 4K/8K）会显著增加 AXI4 主接口带宽需求。优化内存控制器（如 MIG DDR3/4）和 AXI Interconnect 参数。
   • 确保像素时钟支持目标分辨率和帧率（例如，4K@60Hz 需要 297 MHz，2 PPC）。

7. 中断与错误处理：

   • 启用中断以监控帧完成、场景变化触发或内存访问错误。
   • 检查状态寄存器（如 SAD 值、错误代码）以诊断输入流或内存访问问题。

8. 资源优化：

   • SCD IP 资源占用随流数量、PPC 和数据宽度增加。参考 PG322 的资源利用率数据选择合适的 FPGA 设备。
   • 单流 AXI4-Stream 模式资源占用最低，适合资源受限系统。

9. 仿真与验证：

   • 在设计初期进行充分仿真，使用 TPG 生成场景切换视频流（如快速切换颜色条）验证检测准确性。
   • 检查 SAD 值和场景变化标志的正确性，验证阈值设置。
   • 使用 Vivado ILA 监控 AXI4-Stream 或 AXI4 主接口的信号时序。

10. 与编码器集成：

    • 集成到视频编码器时，确保场景变化标志与编码器的参考帧更新机制同步。
    • 验证 SCD 输出（SAD 值、标志）与编码器的输入格式和时序兼容。

常见问题与解决方法

1. 问题：场景变化检测频繁误报或漏报。

   • 原因：SAD 阈值设置不当或子采样值过高。
   • 解决：调整阈值，通过测试视频流优化；降低子采样值（如从 4 到 2）提高直方图精度。

2. 问题：内存映射模式下数据流阻塞。

   • 原因：内存带宽不足或 AXI4 主接口配置错误。
   • 解决：优化内存控制器带宽，检查 AXI4 主接口的突发长度和地址范围。

3. 问题：AXI4-Stream 输入无数据（TValid 信号低）。

   • 原因：视频源未正确生成数据，或 TReady 信号未置位。
   • 解决：检查上游模块输出，验证 SCD IP 的 TReady 行为。

4. 问题：高分辨率视频（如 4K/8K）性能不足。

   • 原因：像素时钟频率不足或 FPGA 性能限制。
   • 解决：选择高性能设备（如 Versal），使用更高 PPC 或优化时钟频率。

结论

Xilinx Video Scene Change Detection IP (PG322) 是一个高效的视频处理模块，通过直方图比较和 SAD 计算实现场景变化检测，适用于视频编码优化、视频索引和语义分割等场景。其支持 AXI4-Stream 和内存映射接口、多流处理（最多 8 流）和高分辨率（最高 8K），结合动态配置和免费许可，提供灵活性和易用性。使用时需特别注意输入模式选择、子采样配置、SAD 阈值设置和内存带宽管理，以确保检测准确性和系统性能。参考 PG322 文档和示例设计可加速开发和验证。

FPGA设计工具推荐

• SZ901：
  SZ901 是一款基于XVC协议的FPGA网络下载器。

  • 最高支持53M
  • 支持4路JTAG独立使用
  • 支持端口合并
  • 支持国产FLASH烧写
  • 下载器无限扩展
  • 配备专属程序固化软件，一键烧写，能大大减小程序固化时间！

• SZ501(PRO_A7)：

  • SZ501 是一款适合初学者FPGA开发板,包含低速高速接口！
  • 双网口(RGMII)
  • 双SFP+
  • DDR
  • UART
  • IIC