二.海思Hi3516ev100视频处理子系统（VPSS）模块

1 概述

  VPSS（Video Process Sub-System）支持对一幅输入图像进行统一预处理，如去噪、去隔行等，然后再对各通道分别进行缩放、锐化等处理，最后输出多种不同分辨率的图像。
  VPSS 单元支持的具体图像处理功能包括 FRC（Frame Rate Control）、 Crop、 NR（Noise Reduce）、 LDC（Lens Distortion Correction）、 Rotate、 Cover/Overlay、 Scale、Mirror/Flip、 FishEye 等。

2 功能描述

2.1 基本概念

GROUP
VPSS 对用户提供组（GROUP）的概念。最大可用数为 VPSS_MAX_GRP_NUM个，各芯片的最大组数目有所不同，各 GROUP 分时复用 VPSS 硬件。每个 VPSSGROUP 包含多个通道，通道数目视方案实现有所不同，具体描述请参见CHANNEL。

CHANNEL
VPSS 组的通道。通道分为 2 种：物理通道和扩展通道。 VPSS 硬件提供多个物理通道，每个通道具有缩放、裁剪等功能。扩展通道具备缩放功能，它通过绑定物理通道，将物理通道输出作为自己的输入，把图像缩放成用户设置的目标分辨率输出。

FRC
帧率控制，分为 2 种： group 帧率控制和 chn 帧率控制。

Group 帧率控制：用于控制各 group 对输入图像的接收，只应用在 VI—VPSS的离线方案中。
Chn 帧率控制：用于控制各个物理通道图像的处理，应用在离线和在线方案中。
Crop
裁剪，分为 3 种： group 的裁剪和物理通道的裁剪以及扩展通道的裁剪。
- Group 的裁剪， VPSS 对输入图像进行裁剪。
- 物理通道的裁剪， VPSS 对各个物理通道的输出图像进行裁剪。
- 扩展通道的裁剪， VPSS 调用 VGS 对扩展通道的输出图像进行裁剪。

DEI
De-interlace，去隔行。将交错的隔行视频源还原成逐行视频源。

NR
去噪。通过参数配置，把图像中的高斯噪声去除，使得图像变得平滑，有助于降低编码码率。

Scale
缩放，对图像进行缩小放大。

LDC
Lens Distortion Correction，镜头畸变校正，一些低端镜头容易产生图像畸变，需要根据畸变程度对其图像进行校正。

Cover
视频遮挡区域，对 VPSS 的输出图像填充纯色块。

Overlay
视频叠加区域，在 GROUP 上进行位图的加载和背景色更新，支持 ARGB4444、ARGB1555、 ARGB8888 三种格式的位图。

Border
边框， VPSS 在输出图像上加边框。

备份节点
原始图像的备份节点。每个 GROUP 都有一个备份节点，用于备份即将提交硬件处理的那帧原始图像。 VPSS 在以下情况会将缓存队列队头节点的图像放入备份节点：

当队头节点的图像要经过 VPSS 硬件处理时， VPSS 会将其放入备份节点，并替换掉原有图像。
当后端绑定的接收模块要求 VPSS 将队头图像放入备份节点时， VPSS 也会替换备份节点中的图像，即使该图像不经过硬件处理。

低延时
在 VI—VPSS 的在线方案中，编码器性能足够的情况下， VPSS 支持按照，以行为单位，边采集边发送的方式，将图像发送给编码模块进行编码，用来减少 VPSS处理完整帧图像再发送给编码模块过程中，数据的延时时间。这样的方式即为低延时方案。
 

2.2 功能描述

VPSS 上下文关系

通过调用 SYS 模块的绑定接口，可与 VI 和 VO/VENC/IVE 等模块进行绑定，其中前者为 VPSS 的输入源，后者为 VPSS 的接收者。用户可通过提供的 MPI 接口对 GROUP进行管理。每个 GROUP 仅可与一个输入源绑定。 GROUP 的物理通道有两种工作模式： AUTO 和 USER，两种模式间可动态切换。默认的工作模式为 AUTO，此模式下各通道仅可与一个接收者绑定。若想使用 USER 模式，则需调用 MPI 接口进行设置，同时指定所需图像的大小和格式，此模式下各通道可与多个接收者绑定。需要特别注意的是， USER 模式主要用于对同一通道图像进行多路编码的场景，此模式下播放控制不生效，因此预览和回放场景下不建议使用 USER 模式。
 

2.3 芯片处理流程

Hi3518EV200 VPSS 的数据流图

VPSS 通道规格

 

3 步骤

a.创建VPSS_Group

b.绑定VI-->VPSS

c.通道设置：通道属性，通道功能，通道使能

 

4.函数调用图谱

SAMPLE_COMM_SYS_GetPicSize（step4）//start vpss and vi bind vpss
        SAMPLE_COMM_VPSS_StartGroup
            HI_MPI_VPSS_CreateGrp
            HI_MPI_VPSS_GetNRParam
            HI_MPI_VPSS_SetNRParam
            HI_MPI_VPSS_StartGrp
        SAMPLE_COMM_VI_BindVpss
            SAMPLE_COMM_VI_Mode2Param
            HI_MPI_SYS_Bind
        SAMPLE_COMM_VPSS_EnableChn
            HI_MPI_VPSS_SetChnAttr
            HI_MPI_VPSS_SetChnMode
            HI_MPI_VPSS_EnableChn

 

5.sample

 /******************************************
    *start vpss and vi bind vpss
    ******************************************/
    SIZE_S stSize;
    pstSize->u32Width  = 1280;
    pstSize->u32Height = 720;
    VpssGrp = 0;
    stVpssGrpAttr.u32MaxW = stSize.u32Width;   /*MAX width of the group*/
    stVpssGrpAttr.u32MaxH = stSize.u32Height;  /*MAX height of the group*/
	stVpssGrpAttr.bIeEn = HI_FALSE;            /*图像增强 enable*/
	stVpssGrpAttr.bNrEn = HI_TRUE;             /*噪声降低 enable*/
	stVpssGrpAttr.bHistEn = HI_FALSE;          /*Hist enable*/
	stVpssGrpAttr.bDciEn = HI_FALSE;           /*动态对比改进 enable*/
	stVpssGrpAttr.enDieMode = VPSS_DIE_MODE_NODIE;/*反交错 enable*/
	stVpssGrpAttr.enPixFmt = PIXEL_FORMAT_YUV_SEMIPLANAR_420;/*像素格式*/
    
	/******************************
	*step1 : 启用 VPSS GROUP
	*******************************/
	s32Ret = HI_MPI_VPSS_CreateGrp(VpssGrp, pstVpssGrpAttr);//创建一个 VPSS GROUP
    if (s32Ret != HI_SUCCESS)
    {
        SAMPLE_PRT("HI_MPI_VPSS_CreateGrp failed with %#x!\n", s32Ret);
        return HI_FAILURE;
    }
	    /*** set vpss 3D NR(去噪) 属性 ***/
    s32Ret = HI_MPI_VPSS_GetNRParam(VpssGrp, &unNrParam);
    if (s32Ret != HI_SUCCESS)
    {
        SAMPLE_PRT("failed with %#x!\n", s32Ret);
        return HI_FAILURE;
    }
 
    s32Ret = HI_MPI_VPSS_SetNRParam(VpssGrp, &unNrParam);
    if (s32Ret != HI_SUCCESS)
    {
        SAMPLE_PRT("failed with %#x!\n", s32Ret);
        return HI_FAILURE;
    }
 
    s32Ret = HI_MPI_VPSS_StartGrp(VpssGrp);//启用 VPSS GROUP
    if (s32Ret != HI_SUCCESS)
    {
        SAMPLE_PRT("HI_MPI_VPSS_StartGrp failed with %#x\n", s32Ret);
        return HI_FAILURE;
    }
 
    /******************************
    *step2 : 绑定VI 和 VPSS
    *******************************/
    HI_S32 j, s32Ret;
    VPSS_GRP VpssGrp;
    MPP_CHN_S stSrcChn;
    MPP_CHN_S stDestChn;
    SAMPLE_VI_PARAM_S stViParam;
    VI_CHN ViChn;
 
    s32Ret = SAMPLE_COMM_VI_Mode2Param(enViMode, &stViParam);
    if (HI_SUCCESS !=s32Ret)
    {
        SAMPLE_PRT("SAMPLE_COMM_VI_Mode2Param failed!\n");
        return HI_FAILURE;
    }
    
    VpssGrp = 0;//VPSS GROUP 0
    ViChn = 0;//VI 通道0
        
	stSrcChn.enModId  = HI_ID_VIU;//模块VI的ID
	stSrcChn.s32DevId = 0;
	stSrcChn.s32ChnId = ViChn;
    
	stDestChn.enModId  = HI_ID_VPSS;//模块VPSS的ID
	stDestChn.s32DevId = VpssGrp;
	stDestChn.s32ChnId = 0;
    
	s32Ret = HI_MPI_SYS_Bind(&stSrcChn, &stDestChn);//绑定VI和VPSS
	if (s32Ret != HI_SUCCESS)
	{
		SAMPLE_PRT("failed with %#x!\n", s32Ret);
		return HI_FAILURE;
	}
	
	/******************************
	*step3 : 前面设置了VPSS组，将VI通道与VPSS组里的0通道
	*绑定起来，但还未设置0通道，下面设置0通道。
	*******************************/
	VpssChn = 0;
	stVpssChnMode.enChnMode      = VPSS_CHN_MODE_USER; //设置通道为USER模式
	stVpssChnMode.bDouble        = HI_FALSE;           //字段帧传输，仅对VPSS_PRE0_CHN有效
	stVpssChnMode.enPixelFormat  = PIXEL_FORMAT_YUV_SEMIPLANAR_420;  //目标图像像素格式
	stVpssChnMode.u32Width       = stSize.u32Width;
	stVpssChnMode.u32Height      = stSize.u32Height;
	stVpssChnMode.enCompressMode = COMPRESS_MODE_SEG;  //输出的压缩模式，按照 256 bytes 为一段进行压缩。
	memset(&stVpssChnAttr, 0, sizeof(stVpssChnAttr));
	stVpssChnAttr.s32SrcFrameRate = -1;  //源通道帧率控制，源帧率与目标帧率都为-1，则不进行帧率控制。
	stVpssChnAttr.s32DstFrameRate = -1;  //目的通道帧率控制	
	
	//设置 VPSS 通道属性
	s32Ret = HI_MPI_VPSS_SetChnAttr(VpssGrp, VpssChn, pstVpssChnAttr);
	if (s32Ret != HI_SUCCESS)
	{
		SAMPLE_PRT("HI_MPI_VPSS_SetChnAttr failed with %#x\n", s32Ret);
		return HI_FAILURE;
	}
	
	//设置 VPSS 通道工作模式
	s32Ret = HI_MPI_VPSS_SetChnMode(VpssGrp, VpssChn, pstVpssChnMode);
	if (s32Ret != HI_SUCCESS)
	{
		SAMPLE_PRT("%s failed with %#x\n", __FUNCTION__, s32Ret);
		return HI_FAILURE;
	}   
	
	//启用 VPSS 通道
    s32Ret = HI_MPI_VPSS_EnableChn(VpssGrp, VpssChn);
    if (s32Ret != HI_SUCCESS)
    {
        SAMPLE_PRT("HI_MPI_VPSS_EnableChn failed with %#x\n", s32Ret);
        return HI_FAILURE;
    }

6.注意点

对于函数：HI_MPI_VPSS_CreateGrp

离线模式时，可创建多个 GROUP，最大 GROUP 数为 VPSS_MAX_GRP_NUM；
在线模式时，仅支持创建 1 个 GROUP，且 GROUP 号仅能为 0。
不支持重复创建。
在线模式时，由于 VI 和 VPSS 的逻辑处理需要时序严格同步，所以 GROUP 创建中的 group 的图像属性必须和 VI 的图像设置属性一致；否则会出现 VPSS 的中断错误。具体请参见 VPSS_GRP_ATTR_S