Android P 图形显示系统（一）硬件合成HWC2

硬件合成HWC2

Hardware Composer HAL (HWC) 是 SurfaceFlinger 用来将 Surface 合成到屏幕。HWC 可以抽象出叠加层和 2D 位块传送器等，其主要是帮忙GPU完成一些工作。

SurfaceFlinger是一个系统服务，其作用是接受来自多个源的Buffer数据，对它们进行合成，然后发送到显示设备进行显示。在之前的Android版本中，显示基本都是基于硬件的FrameBuffer来实现的，例如/dev/graphics/fb0，但是在后来的版本中，实现可以多样化了，比如高通采用SDM，其他有些平台采用ADF，DRM等。

SurfaceFlinger和HWC的相关配合，实现Android系统的合成与显示～

SurfaceFlinger概述

大多数应用通常在屏幕上有三个层：屏幕顶部的状态栏、底部或侧面的导航栏以及应用的界面。有些应用会拥有更多或更少的层（例如，默认主屏幕应用有一个单独的壁纸层，而全屏游戏可能会隐藏状态栏）。每个层都可以单独更新。状态栏和导航栏由系统进程渲染，而应用层由应用渲染，两者之间不进行协调。

下面我们通过一张图，来进行说明：

从上图，我们可以看出，在长按Power键，弹出关机对话框时，有4层Layer，可以立即为有4个窗口。4个窗口经过SurfaceFlinger进行合成后，再送到显示器进行显示。

我们来看看SurfaceFlinger的类定义：

class SurfaceFlinger : public BnSurfaceComposer,
                       public PriorityDumper,
                       private IBinder::DeathRecipient,
                       private HWC2::ComposerCallback
{

SurfaceFlinger继承BnSurfaceComposer，实现ISurfaceComposer接口。实现ComposerCallback。PriorityDumper是一个辅助类，主要提供SurfaceFlinger的信息dump，并提供信息的分离和格式设置。

• ** ISurfaceComposer接口实现**
  ISurfaceComposer是提供给上层Client端的接口，ISurfaceComposer接口包括：

* frameworks/native/libs/gui/include/gui/ISurfaceComposer.h

    enum {
        // Note: BOOT_FINISHED must remain this value, it is called from
        // Java by ActivityManagerService.
        BOOT_FINISHED = IBinder::FIRST_CALL_TRANSACTION,
        CREATE_CONNECTION,
        UNUSED, // formerly CREATE_GRAPHIC_BUFFER_ALLOC
        CREATE_DISPLAY_EVENT_CONNECTION,
        CREATE_DISPLAY,
        DESTROY_DISPLAY,
        GET_BUILT_IN_DISPLAY,
        SET_TRANSACTION_STATE,
        AUTHENTICATE_SURFACE,
        GET_SUPPORTED_FRAME_TIMESTAMPS,
        GET_DISPLAY_CONFIGS,
        GET_ACTIVE_CONFIG,
        SET_ACTIVE_CONFIG,
        CONNECT_DISPLAY,
        CAPTURE_SCREEN,
        CAPTURE_LAYERS,
        CLEAR_ANIMATION_FRAME_STATS,
        GET_ANIMATION_FRAME_STATS,
        SET_POWER_MODE,
        GET_DISPLAY_STATS,
        GET_HDR_CAPABILITIES,
        GET_DISPLAY_COLOR_MODES,
        GET_ACTIVE_COLOR_MODE,
        SET_ACTIVE_COLOR_MODE,
        ENABLE_VSYNC_INJECTIONS,
        INJECT_VSYNC,
        GET_LAYER_DEBUG_INFO,
        CREATE_SCOPED_CONNECTION
    };

ISurfaceComposer的接口在SurfaceFlinger中都有对应的方法实现。Client端通过Binder调到SurfaceFlinger中。前面我们已经说过上层怎么获取Display的信息，其实现就是SurfaceFlinger中的getDisplayConfigs函数。其他的类似，根据上面Binder的command去找对应的实现。

• ComposerCallback接口实现
  ComposerCallback是HWC2的callback接口，包括以下接口：

class ComposerCallback {
 public:
    virtual void onHotplugReceived(int32_t sequenceId, hwc2_display_t display,
                                   Connection connection,
                                   bool primaryDisplay) = 0;
    virtual void onRefreshReceived(int32_t sequenceId,
                                   hwc2_display_t display) = 0;
    virtual void onVsyncReceived(int32_t sequenceId, hwc2_display_t display,
                                 int64_t timestamp) = 0;
    virtual ~ComposerCallback() = default;
};

callback提供了注册接口，registerCallback，在SurfaceFlinger初始化时，注册：

void SurfaceFlinger::init() {
    ... ...

    LOG_ALWAYS_FATAL_IF(mVrFlingerRequestsDisplay,
            "Starting with vr flinger active is not currently supported.");
    getBE().mHwc.reset(new HWComposer(getBE().mHwcServiceName));
    getBE().mHwc->registerCallback(this, getBE().mComposerSequenceId);

registerCallback时的this就是SurfaceFlinger对ComposerCallback接口的实现。

• onHotplugReceived
  热插拔事件的回调，显示屏幕连接或断开时回调。Surfaceflinger中实现的方法为SurfaceFlinger::onHotplugReceived。这块逻辑，我们稍后介绍。

• onRefreshReceived
  接收底层HWComposer的刷新请求，实现方法如下：

void SurfaceFlinger::onRefreshReceived(int sequenceId,
                                       hwc2_display_t /*display*/) {
    Mutex::Autolock lock(mStateLock);
    if (sequenceId != getBE().mComposerSequenceId) {
        return;
    }
    repaintEverythingLocked();
}

void SurfaceFlinger::repaintEverythingLocked() {
    android_atomic_or(1, &mRepaintEverything);
    signalTransaction();
}

在repaintEverythingLocked中，注意这里的mRepaintEverything，repaintEverythingLocked的值为1。signalTransaction将触发一次刷新，重新进行合成显示。

重新绘制，说明底层配置，参数等有变动，SurfaceFlinger前面给的数据不能用，得重新根据变动后的配置进行进行合成，给适合当前配置的显示数据。

• onVsyncReceived
  Vsync事件上报，接收底层硬件上报的垂直同步信号。

需要注意的是，这里收到的热插拔和Vsync回调，又将被封装为事件的形式再通知出去，这是回话，后续介绍。

• 显示周期Vsync

设备显示会按一定速率刷新，在手机和平板电脑上通常为每秒 60 帧。如果显示内容在刷新期间更新，则会出现撕裂现象；因此，请务必只在周期之间更新内容。在可以安全更新内容时，系统便会收到来自显示设备的信号。由于历史原因，我们将该信号称为 VSYNC 信号。

刷新率可能会随时间而变化，例如，一些移动设备的刷新率范围在 58 fps 到 62 fps 之间，具体要视当前条件而定。对于连接了 HDMI 的电视，刷新率在理论上可以下降到 24 Hz 或 48 Hz，以便与视频相匹配。由于每个刷新周期只能更新屏幕一次，因此以 200 fps 的刷新率为显示设备提交缓冲区只是在做无用功，因为大多数帧永远不会被看到。SurfaceFlinger 不会在应用提交缓冲区时执行操作，而是在显示设备准备好接收新的缓冲区时才会唤醒。

当 VSYNC 信号到达时，SurfaceFlinger 会遍历它的层列表，以寻找新的缓冲区。如果找到新的缓冲区，它会获取该缓冲区；否则，它会继续使用以前获取的缓冲区。SurfaceFlinger 总是需要可显示的内容，因此它会保留一个缓冲区。如果在某个层上没有提交缓冲区，则该层会被忽略。

• 合成方式

目前SurfaceFlinger中支持两种合成方式，一种是Device合成，一种是Client合成。SurfaceFlinger 在收集可见层的所有缓冲区之后，便会询问 Hardware Composer 应如何进行合成。

• Client合成
  Client合成方式是相对与硬件合成来说的，其合成方式是，将各个Layer的内容用GPU渲染到暂存缓冲区中，最后将暂存缓冲区传送到显示硬件。这个暂存缓冲区，我们称为FBTarget，每个Display设备有各自的FBTarget。Client合成，之前称为GLES合成，我们也可以称之为GPU合成。Client合成，采用RenderEngine进行合成。

• Device合成
  就是用专门的硬件合成器进行合成HWComposer，所以硬件合成的能力就取决于硬件的实现。其合成方式是将各个Layer的数据全部传给显示硬件，并告知它从不同的缓冲区读取屏幕不同部分的数据。HWComposer是Devicehec的抽象。

所以，整个显示系统的数据流如下图所示，此图来源于Androd 官网：

GPU合成后数据，作为一个特殊的Layer，传给显示硬件。

• dump信息
  dump信息是很好的一个调试手段，dump命令 如下：

adb shell dumpsys SurfaceFlinger

比如，我们通过dump，就可以知道当前有那些Layer，都用什么合成方式

Display 0 HWC layers:
-------------------------------------------------------------------------------
 Layer name
           Z |  Comp Type |   Disp Frame (LTRB) |          Source Crop (LTRB)
-------------------------------------------------------------------------------
 com.android.settings/com.android.settings.Settings#0
       21005 |     Client |    0    0  480  800 |    0.0    0.0  480.0  800.0
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
 StatusBar#0
      181000 |     Client |    0    0  480   36 |    0.0    0.0  480.0   36.0
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

此时，有两个Layer，采用Client合成方式。

• 后端SurfaceFlingerBE
  SurfaceFlingerBE是Android P上新分离出来的，没有太多信息，从目前的定义来看是将SurfaceFlinger分离为前端和后端，这里的SurfaceFlingerBE就是后端，现在的SurfaceFlinger充当前端的角色。后端SurfaceFlingerBE主要就是和底层合成打交道，前端和上层进行交互。在后续的版本中，更多的逻辑会被移到后端中。

• 消息队列和主线程
  和应用进程类似，SurfaceFlinger也有一个主线程，SurfaceFlinger的主线程主要进行显示数据的处理，也就是合成。SurfaceFlinger是一个服务，将会响应上层的很多请求，各个进程的请求都在SurfaceFlinger的各个Binder线程中，如果线程很耗时，那么应用端就会被block，显示也会被block。主线程就是将他们分离开来，各干各的事。

SurfaceFlinger还有很多逻辑，我们先来看看SurfaceFlinger相关的类，接下再来我们一下进行介绍。

其他的都好理解，有两个地方需要注意：
1.SurfaceFlinger有两个状态，Layer也有两个状态，一个mCurrentState，一个mDrawingState。注意这里State类定义是不一样的。
2.两个EventThread，一个是给SurfaceFlinger本身用，一个是为了给应用分发事件的。

void SurfaceFlinger::init() {
    ... ...
    sp<VSyncSource> vsyncSrc =
            new DispSyncSource(&mPrimaryDispSync, SurfaceFlinger::vsyncPhaseOffsetNs, true, "app");
    mEventThread = new EventThread(vsyncSrc, *this, false);
    sp<VSyncSource> sfVsyncSrc =
            new DispSyncSource(&mPrimaryDispSync, SurfaceFlinger::sfVsyncPhaseOffsetNs, true, "sf");
    mSFEventThread = new EventThread(sfVsyncSrc, *this, true);
    mEventQueue.setEventThread(mSFEventThread);

VSyncSources 是Vsync的源，并不是每一个Vsync信号都是从底层硬件上报的，平时的Vsync都是VSyncSources分发出来的，VSyncSources定期会和底层的Vsync进行同步，确保和底层屏幕新的步调一致。

HWC2 概述

Android 7.0 包含新版本的 HWC (HWC2)，Android需要自行配置，到Android 8.0，HWC2正式开启，且版本升级为2.1版本。HWC2是 SurfaceFlinger 用来与专门的窗口合成硬件进行通信。SurfaceFlinger 包含使用 3D 图形处理器 (GPU) 执行窗口合成任务的备用路径，但由于以下几个原因，此路径并不理想：

• 通常，GPU 未针对此用例进行过优化，因此能耗可能要大于执行合成所需的能耗。
• 每次 SurfaceFlinger 使用 GPU 进行合成时，应用都无法使用处理器进行自我渲染，因此应尽可能使用专门的硬件而不是 GPU 进行合成。

下面是GPU和HWC两种方式的优劣对比：

合成类型	耗电情况	性能情况	Alpha处理	DRM内容处理	其他限制
Device合成（HWC）	耗电低	性能高	很多Vendor的HWC不支持Alpha的处理和合成	基本都能访问DRM内容	能合成的Surface层数有限，对每种Surface类型处理层数有限
Client合成（GPU）	耗电高	性能低	能处理每个像素的Alpha及每个Layear的Alpha	早期版本GPU不能访问DRM的内容	目前的处理层数没有限制

所以，HWC的设计最好遵循一些基本的规则～

HWC 常规准则

由于 Hardware Composer 抽象层后的物理显示设备硬件可因设备而异，因此很难就具体功能提供建议。一般来说，请遵循以下准则：

• HWC 应至少支持 4 个叠加层（状态栏、系统栏、应用和壁纸/背景）。
• 层可以大于屏幕，因此 HWC 应能处理大于显示屏的层（例如壁纸）。
• 应同时支持预乘每像素 Alpha 混合和每平面 Alpha 混合。
• HWC 应能处理 GPU、相机和视频解码器生成的相同