一,错误隐藏
错误隐藏是一种在解码端进行处理的技术。错误隐藏就是解码器在不需要从编码器得到额外信息的前提下,利用当前帧已接收宏块或先前已接收视频序列的相关性对丢失宏块进行恢复,以主观可接受的近似原来质量的视频数据来隐藏错误受损的数据。错误也分为帧间隐藏(intra frame)和帧内隐藏(inter frame)。
二,ffmpeg错误隐藏框架分析
我们直接从decode_frame开始跟踪,decode_frame —> decode_nal_units —> decode_slice_header —> ff_h264_frame_start —> ff_er_frame_start,ff_er_frame_start中对error_status_table,error_count进行了初始化。
接着从decode_nal_units继续,decode_nal_units会调用execute_decode_slices进行解码,该函数包含了单线程和多线程两种情况,不妨仅考虑单线程情况,则该函数调用decode_slice进行实际的解码,在decode_slice中,解码完成后,会调用ff_er_add_slice根据解码情况对error_status_table进行相应设置,作为以后错误隐藏的依据。
最后,退回到decode_frame中来,在前面调用decode_nal_units完成解码后,会调用field_end,而field_end则会调用ff_er_frame_end,该函数就是真正进行错误隐藏的地方。ff_er_frame_end中有两个最重要的函数guess_dc和guess_mv,简单地讲,前者用于intra宏块(实际上还不止这种宏块),后者用于P slice的非intra宏块(B slice的隐藏方法更为简单,不会调用guess_mv)。
三,guess_dc函数实现的步骤:(空域错误隐藏)(以8*8块为单位)
第一步:宏块扫描计算每个宏块的DC值;
依次从左——>右,上——>下,右——>左,下——>上四个方向扫描,计算出图像中每个8*8块的DC值。将每个丢失宏块上下左右四个方向最邻近的正确解码块的DC值存放在col[b_x + b_y*stride][j](j取0,1,2,3)中;这四个正确解码块到丢失块的距离保存在dist[b_x + b_y*stride][j](j取0,1,2,3)中,当某个方向上的正确解码宏块不存在时,distance记为9999.
第二步:丢失宏块DC值恢复
公式如下:
第三步:将得到的DC值填充到丢失的8*8的宏块中
问题:计算的8*8块的DC值?