surfaceflinger原理讲解

 

概念

SurfaceFlinger是一个系统服务，如：audioflinger，audiopolicyservice等等，系统的主要服务通过这个文章进行了解，Android的系统服务一览。这个系统服务主要实现了Surface的建立、控制、管理等功能。换种说法就是，在Android 的实现中它是一个service，提供系统范围内的surface composer（界面显示合成）功能，它能够将各种应用程序的2D、3D surface进行组合。

 

原理分析

让我们首先看一下下面的屏幕简略图：

每个应用程序可能对应着一个或者多个图形界面，而每个界面我们就称之为一个surface ，或者说是window ，在上面的图中我们能看到4 个surface，一个是home 界面，还有就是红、绿、蓝分别代表的3 个surface ，而两个button 实际是home surface 里面的内容。在这里我们能看到我们进行图形显示所需要解决的问题：

a、首先每个surface 在屏幕上有它的位置，以及大小，然后每个surface 里面还有要显示的内容，内容，大小，位置 这些元素 在我们改变应用程序的时候都可能会改变，改变时应该如何处理 ？

b、然后就各个surface 之间可能有重叠，比如说在上面的简略图中，绿色覆盖了蓝色，而红色又覆盖了绿色和蓝色以及下面的home ，而且还具有一定透明度。这种层之间的关系应该如何描述？      

我们首先来看第二个问题，我们可以想象在屏幕平面的垂直方向还有一个Z 轴，所有的surface 根据在Z 轴上的坐标来确定前后，这样就可以描述各个surface 之间的上下覆盖关系了，而这个在Z 轴上的顺序，图形上有个专业术语叫Z-order 。  

对于第一个问题，我们需要一个结构来记录应用程序界面的位置，大小，以及一个buffer 来记录需要显示的内容，所以这就是我们surface 的概念，surface 实际我们可以把它理解成一个容器，这个容器记录着应用程序界面的控制信息，比如说大小啊，位置啊，而它还有buffer 来专门存储需要显示的内容。

在这里还存在一个问题，那就是当存在图形重合的时候应该如何处理呢，而且可能有些surface 还带有透明信息，这里就是我们SurfaceFlinger 需要解决问题，它要把各个surface 组合(compose/merge) 成一个main Surface ，最后将Main Surface 的内容发送给FB/V4l2 Output ，这样屏幕上就能看到我们想要的效果。  在实际中对这些Surface 进行merge 可以采用两种方式，一种就是采用软件的形式来merge ，还一种就是采用硬件的方式，软件的方式就是我们的SurfaceFlinger ，而硬件的方式就是Overlay 。

OverLay

     因为硬件merge 内容相对简单，我们首先来看overlay 。 Overlay 实现的方式有很多，但都需要硬件的支持。以IMX51 为例子，当IPU 向内核申请FB的时候它会申请3 个FB ，一个是主屏的，还一个是副屏的，还一个就是Overlay 的。 简单地来说，Overlay就是我们将硬件所能接受的格式数据 和控制信息送到这个Overlay FrameBuffer，由硬件驱动来负责merge Overlay buffer和主屏buffer中的内容。

    一般来说现在的硬件都只支持一个Overlay，主要用在视频播放以及camera preview(预览)上，因为视频内容的不断变化用硬件Merge比用软件Merge要有效率得多，下面就是使用Overlay和不使用Overlay的过程：

SurfaceFlinger中加入了Overlay hal，只要实现这个Overlay hal可以使用overlay的功能，这个头文件在：

/hardware/libhardware/include/harware/Overlay.h

可以使用FB或者V4L2 output来实现，这个可能是我们将来工作的内容。实现Overlay hal以后,使用Overlay接口的sequence就在 ：