SVC的access unit及其他

from：http://forum.byr.edu.cn/pc/pccon.php?id=1727&nid=67801&order=&tid=1329 

 

在H.264/AVC中，Access Unit是一个很好理解的概念，就是若干NAL unit的组合（包括VCL NALU和相关的non-VCL NAL unit）能解出一副完整图像，就认为是一个access unit，标准中给出的定义为：

access unit: A set of NAL units always containing exactly one primary coded picture. In addition to the primary coded picture, an access unit may also contain one or more redundant coded pictures, one auxiliary coded picture, or other NAL units not containing slices or slice data partitions of a coded picture. The decoding of an access unit always results in a decoded picture.

然而当进入H.264/SVC时代，由于多个不同layer的存在使得nalu的组合更为复杂，这个概念变得不好理解起来。而标准对此却没有相应的说明（至少目前对JVT-x201观察没有发现）。这篇笔记的目的就是总结对SVC中access uni概念的理解。

在“System and Transport Interface of SVC，Ye-Kui Wang,”这篇paper中有这样一段说明：In this paper seven logical entities are described that may consist of more than one NAL unit:

1.       layer representation：对于一幅图像，具有相同dependency_id和quality_id的所有coded slices的组合。

2.       dependency representation：对于一幅图像，具有相同dependency_id的所有coded slices组合。

3.       access unit：对于一幅图像，所有的dependency representation再加上相关的non-VCL NAL units。

4.       scalable layer：具有相同dependency_id、quality_id和temporal_id的所有layer representation的组合。

5.       dependency layer：具有相同dependency_id 的scalable layer组合。

6.       base layer：dependency_id、quality_id都为0的layer representation。

7.       coded video sequence：不多说

首先需要理解，前三个概念（representation和access unit）都是针对某一原始图像而言的；后三个概念都是多个图像集合（layer）的概念。因此对access unit可以有下图说明，这里表达的是一幅原始图像在SVC编码中的呈现关系：

这里再举一个例子，使用jsvm依照下图的方式编码：

一共有几个access unit呢？依照上面的理解，显然共有9个，褐色、绿色、蓝色代表的5个是由两个dependency representation构成的access unit，红色的4个则是由一个dependency representation构成的access unit。当然这里没有画出与之相关的一些non-VCL NAL unit，实际编码中是有的，比如第一帧时有SPS、PPS、SEI，后续每帧相应的Prefix、SEI等。可以通过jsvm编码过程的信息来验证，如下图：

到这里，SVC中的access unit的概念已经基本弄清楚了。