1. 深入理解海思3559AV100的VPSS模块
大家好,我是老李,在AI和嵌入式视觉领域摸爬滚打了十多年。今天咱们来聊聊海思3559AV100芯片的VPSS模块,特别是在多通道处理和帧率控制优化方面的实战经验。如果你正在做8K视频处理或者高分辨率编码前处理,这篇文章应该能帮你少走不少弯路。
VPSS(Video Process Sub-System)是海思芯片中非常核心的视频处理子系统,它位于VI模块之后,负责对原始视频数据进行一系列处理,比如帧率控制、缩放、裁剪、锐化、降噪等,然后再送给VENC进行编码或者其他模块使用。3559AV100的VPSS特别强大,支持多通道协同处理,这对于8K这种高分辨率视频处理来说非常关键。
在实际项目中,我经常遇到这样的场景:需要处理多路高分辨率视频输入,并且每路都需要不同的处理参数和输出规格。比如,一路8K视频可能需要同时输出4K、1080p和720p三种分辨率,分别用于存储、预览和网络传输。这时候,VPSS的多通道处理能力就派上用场了。
VPSS的核心概念是组(GROUP)和通道(CHANNEL)。组是VPSS的基本工作单元,各个组分时复用VPSS硬件资源。每个组下面有多个通道,包括物理通道和扩展通道。物理通道直接处理视频数据,支持缩放、裁剪等基本操作;扩展通道则通过绑定物理通道,对其输出进行进一步处理,比如再次缩放或裁剪。
帧率控制(FRC)是VPSS的另一个重要功能。它分为组帧率控制和通道帧率控制两种。组帧率控制决定整个组处理输入图像的速率,而通道帧率控制则控制每个通道的输出帧率。在多通道处理中,合理配置FRC参数对于保证输出稳定性和资源高效利用至关重要。
2. VPSS多通道架构与资源复用策略
2.1 物理通道与扩展通道的协同工作
海思3559AV100的VPSS模块提供了灵活的通道架构,包括物理通道和扩展通道。物理通道是硬件直接支持的通道,每个物理通道都有自己的处理能力,包括缩放、裁剪、像素格式转换等。扩展通道则是通过绑定物理通道来实现的,它可以对物理通道的输出进行进一步处理。
在实际项目中,我通常这样配置:使用物理通道处理基本的缩放和裁剪,然后用扩展通道生成更多不同分辨率的输出。比如,对于8K输入,我可能会用物理通道生成4K输出,然后用扩展通道基于这个4K输出再生成1080p和720p的输出。这种方式可以最大限度地复用硬件资源,减少DDR访问次数。
物理通道的最大缩放能力是水平垂直各15倍缩小和16倍放大,而扩展通道支持更大的缩放范围,达到30倍缩小和16倍放大。这个特性在处理8K视频时特别有用,因为8K到1080p的缩放比例很大,需要充分利用扩展通道的缩放能力。
通道绑定的配置也很重要。一个扩展通道必须绑定到一个物理通道,但一个物理通道可以被多个扩展通道绑定。这种架构允许我们从一个物理通道输出衍生出多个不同规格的输出,非常适合多分辨率输出的场景。
2.2 资源复用与性能优化
在多通道处理中,资源复用是关键。3559AV100的VPSS硬件资源是有限的,如何让多个通道高效地共享这些资源直接影响整体性能。我的经验是,尽量让处理流程相似的通道共享同一个组,这样可以减少硬件上下文切换的开销。
每个VPSS组都有自己的参数配置,包括输入分辨率、像素格式、动态范围等。如果多个通道的处理需求相似,把它们放在同一个组里可以更好地复用硬件资源。比如,所有需要相同去噪参数的通道可以放在一个组里,所有需要相同锐化参数的通道放在另一个组里。
DDR带宽是另一个需要重点优化的资源。VPSS处理过程中需要频繁访问DDR,特别是当使用扩展通道或者某些特殊处理功能时。比如,当使用LDC(镜头畸变校正)或者任意角度旋转时,VPSS需要额外申请临时buffer,这会增加DDR访问次数。
为了减少DDR访问,我通常会仔细规划每个通道的处理流程,尽量避免不必要的中间结果存储。比如,如果多个处理步骤可以流水线化,就尽量让它们在VPSS内部完成,减少中间结果写回DDR的次数。另外,合理配置缓存池大小和数量也能显著改善性能。
3. 帧率控制(FRC)的深入解析与配置
3.1 组帧率与通道帧率的协调
帧率控制是VPSS模块的核心功能之一,特别是在多通道处理场景下。3559AV100的VPSS支持两种帧率控制:组帧率控制(Group FRC)和通道帧率控制(Channel FRC)。组帧率控制决定整个组处理输入帧的速率,而通道帧率控制则控制每个通道输出帧的速率。
在实际配置中,组帧率应该根据输入源帧率来设置。如果输入是30fps的8K视频,组帧率通常也设置为30fps。通道帧率则根据输出需求来定,比如存储用30fps,预览用15fps,网络传输用10fps。
帧率控制的实现原理是基于帧丢弃和帧重复。当输出帧率低于输入帧率时,VPSS会丢弃一些帧;当输出帧率高于输入帧率时,VPSS会重复某些帧。这个过程需要仔细配置,否则会导致输出视频不流畅。
我遇到过的一个典型问题是:当多个通道的帧率设置差异较大时,某些通道可能会出现帧率不稳定。比如,一个通道设置为30fps,另一个设置为5fps,低帧率通道可能会因为帧丢弃过多而导致运动抖动。解决方法是使用合适的帧率转换算法,或者调整通道优先级。
3.2 帧率控制的高级配置技巧
3559AV100的VPSS提供了丰富的帧率控制参数,包括帧率转换模式、去抖动参数等。这些参数需要根据具体应用场景来调整。比如,在监控场景中,可能更需要平滑的帧率转换;而在视频会议场景中,则更需要低延迟。
一个实用的技巧是使用自适应帧率控制。VPSS可以根据输入帧率的变化动态调整输出帧率,这对于处理可变帧率输入特别有用。比如,当输入帧率从30fps降到15fps时,VPSS可以相应降低输出帧率,避免过度帧重复导致的卡顿。
另一个重要参数是帧率控制的精度。3559AV100支持高精度的帧率控制,可以达到小数点后三位的精度。这对于需要精确控制帧率的应用非常有用,比如视频同步或者多摄像头时间戳对齐。
在实际项目中,我通常先用默认参数测试,然后根据实际效果逐步调整。使用海思提供的调试工具(如/proc/umap/vpss)可以实时监控帧率控制效果,帮助快速找到最优参数。
4. 8K视频处理中的VPSS优化实践
4.1 8K视频处理的特殊挑战
处理8K视频对VPSS模块提出了很高的要求。8K分辨率(7680x4320)的数据量是4K的四倍,这对处理能力和内存带宽都是巨大挑战。在海思3559AV100上处理8K视频时,需要特别注意资源分配和参数配置。
第一个挑战是处理延迟。8K视频数据量巨大,VPSS处理需要更多时间。为了减少延迟,我通常会启用VPSS的硬件加速功能,比如使用专用的缩放和色彩转换硬件。同时,合理配置缓存大小也很重要,太小的缓存会导致频繁的DDR访问,增加延迟;太大的缓存则会增加内存占用。
第二个挑战是内存带宽。8K视频处理需要大量的内存带宽,如果配置不当,很容易成为性能瓶颈。我的经验是,尽量使用连续内存分配,减少内存碎片;同时,使用海思提供的内存优化工具(如MMZ管理)来最大化内存带宽利用率。
第三个挑战是热管理。8K视频处理会产生大量热量,如果芯片过热,会导致性能下降甚至重启。在实际部署中,我需要密切关注芯片温度,并相应调整处理参数。比如,在高温环境下,可以适当降低处理频率或者减少同时处理的通道数。
4.2 8K多通道处理的实战配置
下面我分享一个实际的8K处理配置案例。在这个案例中,我们需要处理一路8K30fps输入,同时输出4K30fps、1080p30fps和720p15fps三个通道。
首先配置VPSS组参数:
VPSS_GRP_ATTR_S stGrpAttr;
stGrpAttr.u32MaxW = 7680;
stGrpAttr.u32MaxH = 4320;
stGrpAttr.enPixelFormat = PIXEL_FORMAT_YVU_SEMIPLANAR_420;
stGrpAttr.stFrameRate.s32SrcFrameRate = 30;
stGrpAttr.stFrameRate.s32DstFrameRate = 30;
HI_MPI_VPSS_CreateGrp(0, &stGrpAttr);
然后配置物理通道0(4K输出):
VPSS_CHN_ATTR_S stChnAttr;
stChnAttr.enChnMode = VPSS_CHN_MODE_USER;
stChnAttr.bMirror = HI_FALSE;
stChnAttr.bFlip = HI_FALSE;
stChnAttr.stNormalize.bEnable = HI_FALSE;
stChnAttr.u32Width = 3840;
stChnAttr.u32Height = 2160;
stChnAttr.enVideoFormat = VIDEO_FORMAT_LINEAR;
stChnAttr.enPixelFormat = PIXEL_FORMAT_YVU_SEMIPLANAR_420;
stChnAttr.stFrameRate.s32SrcFrameRate = 30;
stChnAttr.stFrameRate.s32DstFrameRate = 30;
HI_MPI_VPSS_SetChnAttr(0, 0, &stChnAttr);
接着配置扩展通道1(1080p输出):
VPSS_EXT_CHN_ATTR_S stExtChnAttr;
stExtChnAttr.stDestSize.u32Width = 1920;
stExtChnAttr.stDestSize.u32Height = 1080;
stExtChnAttr.enPixelFormat = PIXEL_FORMAT_YVU_SEMIPLANAR_420;
stExtChnAttr.stFrameRate.s32SrcFrameRate = 30;
stExtChnAttr.stFrameRate.s32DstFrameRate = 30;
HI_MPI_VPSS_SetExtChnAttr(0, 1, &stExtChnAttr);
最后配置扩展通道2(720p输出):
stExtChnAttr.stDestSize.u32Width = 1280;
stExtChnAttr.stDestSize.u32Height = 720;
stExtChnAttr.stFrameRate.s32SrcFrameRate = 30;
stExtChnAttr.stFrameRate.s32DstFrameRate = 15;
HI_MPI_VPSS_SetExtChnAttr(0, 2, &stExtChnAttr);
这个配置实现了从8K输入到多分辨率输出的处理 pipeline。需要注意的是,扩展通道2的帧率设置为15fps,这意味着VPSS会自动进行帧率转换,每两帧输入产生一帧输出。
5. 常见问题排查与性能调优
5.1 VPSS模块的典型问题及解决方法
在实际使用VPSS模块时,经常会遇到一些问题。根据我的经验,最常见的问题包括:输出花屏、帧率不稳定、资源分配失败等。
输出花屏通常是因为内存问题或者参数配置错误。首先检查输入视频的像素格式和动态范围是否与VPSS配置匹配。3559AV100支持多种像素格式,包括YUV semiplanar 420/422等,如果配置不匹配会导致花屏。其次检查内存分配,确保VB池大小足够,并且没有内存越界。
帧率不稳定往往与FRC配置有关。如果输出帧率波动较大,可以检查输入帧率是否稳定,以及FRC参数是否合理。有时候,因为系统负载过高,VPSS无法及时处理帧,也会导致帧率下降。这时候需要优化系统资源分配,或者降低处理复杂度。
资源分配失败通常是因为VB池不足或者MMZ内存不够。3559AV100的VPSS需要大量内存来处理高分辨率视频,特别是8K视频。我建议在系统初始化时分配足够的VB池,并留有一定余量。使用cat /proc/umap/vb命令可以查看VB池使用情况,帮助诊断这类问题。
5.2 性能监控与调优工具
海思提供了丰富的性能监控工具,对于VPSS调优非常有用。/proc/umap/vpss文件可以实时显示VPSS各个通道的状态,包括帧率、分辨率、处理延迟等信息。我通常会在调试时持续监控这个文件,观察系统运行状态。
另一个有用工具是/proc/umap/vi,它可以显示视频输入模块的状态。因为VPSS的输入来自VI,所以VI的状态直接影响VPSS性能。如果VPSS处理跟不上,有时候问题其实出在VI模块。
对于内存调优,/proc/umap/vb显示VB池使用情况,/proc/media-mem显示MMZ内存使用情况。这些信息帮助我合理分配内存资源,避免内存不足或浪费。
在实际项目中,我还会使用海思的性能分析工具(如perf工具)来深入分析VPSS的性能瓶颈。通过分析硬件计数器和软件事件,可以找到性能热点,有针对性地进行优化。
6. 高级功能与特殊场景应用
6.1 HDR处理与色彩管理
3559AV100的VPSS支持HDR(高动态范围)处理,包括HDR10和HLG标准。这在处理高质量视频时非常有用,特别是对于8K视频处理。HDR处理涉及色调映射、色域转换等复杂操作,需要仔细配置。
在配置HDR处理时,需要注意动态范围的一致性。对于3559AV100,通道0和通道1的HDR输出动态范围必须一致,通道2和通道3的HDR输出动态范围也必须一致。如果配置不一致,会导致色彩异常或者处理失败。
另一个重要点是色温参数。VPSS输出HDR图像时需要从ISP获取色温参数,如果使用用户送图模式(比如从文件读取视频帧送给VPSS),无法获取色温参数,HDR效果会受影响。在这种情况下,建议使用SDR处理或者手动提供色温参数。
色彩空间转换也是VPSS的重要功能。3559AV100支持多种色彩空间转换,包括BT.601到BT.709,BT.709到BT.2020等。在处理8K视频时,通常使用BT.2020广色域,需要相应配置VPSS的色彩空间参数。
6.2 多组协同与负载均衡
对于特别复杂的处理任务,单个VPSS组可能无法满足需求,需要使用多个组协同工作。3559AV100支持多个VPSS组并行处理,每个组可以处理不同的视频源或者不同的处理任务。
在多组配置中,负载均衡很重要。我需要根据每个组的处理能力和任务复杂度,合理分配处理任务。比如,可以让一个组专门处理缩放和裁剪,另一个组专门处理增强和降噪。
组间数据传递也需要考虑。3559AV100支持通过内存共享方式在组间传递视频数据,这允许实现复杂的处理流水线。但是组间数据传递会增加内存拷贝开销,需要谨慎使用。
一个实用的技巧是使用硬件加速的组间数据传输。3559AV100提供了一些硬件模块(如VGS)可以加速视频数据搬运,减少CPU开销。在配置多组处理时,我会尽量使用这些硬件加速功能。
在实际项目中,多组协同通常用于多路视频处理场景。比如,同时处理4路4K输入,每路都需要复杂的处理流程。通过合理分配组资源,可以最大化利用3559AV100的处理能力。
记得定期检查系统状态,特别是内存使用和温度情况。3559AV100功能强大,但资源也不是无限的,合理的资源分配和参数配置是保证系统稳定运行的关键。
240



被折叠的 条评论
为什么被折叠?



