blink渲染知识9-chromium webview硬件渲染的演进

4.4的硬件渲染关键点：独立线程使用gpu rasterrize,并且ui线程合成时，也是在gpu上操作数据。

http://blog.youkuaiyun.com/hongbomin/article/details/40896313

原创文章，转载请以链接形式注明原始出处为http://blog.youkuaiyun.com/hongbomin/article/details/40896313

摘要：从AndroidKitKat系统第一个采用Chromium内核的WebView开始，AndroidWebView一直在持续演进中，自ChromiumM38开始，WebView在硬件渲染模式方面发生了较大的变化，最明显的变化莫过于WebGL的支持以及ubercompositor的使用，同时为了吻合AndroidL的渲染模型变化，DrawGL函数是在Android系统的渲染线程中执行的。

Android4.4系统WebView的硬件渲染

对于ChromiumWebView来说，首先它是单进程模型的，至少在使用CommandBuffer时可以省去不必要的跨进程IPC开销，尽管IPC开销并没有想象中那么大（根据性能评测，大概占了不超过5%的开销）。更为重要的是，WebView必须是Android窗口中一个普通的View，与窗口其他View共享同一个AndroidSurface绘制表面，因此，

• WebView在UI线程上响应onDraw事件，启动页面渲染的流水线工作，将新的帧内容通过onDraw绘制到Canvas上；

• WebView使用同步合成器（SynchronousCompositor）来合成页面内容，“同步”指的是运行在UI线程上，合成操作是由UI线程的onDraw事件触发的，而不是VSYNC触发的。从线程化合成器的角度看，UI线程实际上也是Compositing线程；

• WebView提供了一个硬件加速版本的回调函数DrawGL（即AwContents::DrawGL），将Chromium的渲染流水线工作串到AndroidView的渲染路径上。在使用硬件加速的情况下，WebView.onDraw接受的参数Canvas是一个对AndroidSDK不可见的android.view.HardwareCanvas对象，HardwareCanvas允许客户端提供自己的GL回调函数，Android View系统在重放（playback）显示列表绘制View层次时会调用这个回调函数。（注：在AndroidFramework内部实现中，当开始绘制HardwareCanvas时，当前GL上下文会绑定HardwareCanvas的framebuffer对象，所以GL回调函数中所有的GL命令实际上在操作HardwareCanvas的framebuffer对象）。

Android4.4系统中，在绘制View层次时，显示列表的更新记录以及重放都发生在UI线程上，相应地，WebView.onDraw事件的处理中，页面的层合成，以及通过DrawGL函数将合成的内容绘制到HardwareCanvas，都是在UI线程执行的。当WebView收到invalidate消息后，ViewRoot会遍历整个View树决定向哪些View派送onDraw事件，WebView响应onDraw事件时，会直接请求HardwareCanvas执行DrawGL回调函数，DrawGL再请求同步合成器以硬件加速方式合成新的一帧内容，并将这个新的内容通过GL命令绘制到HardwareCanvas上。这里没有特别提到Blink线程，原因是Blink线程相对来说还是比较独立的，在Blink线程启动后，会逐步执行DOM解析和排版，JS代码的执行，以及渲染层的状态信息计算等工作，这些工作运行完毕之后，如果Compositor内部状态机发现页面还需要继续更新内容，执行动画，Blink线程会通知UI线程（即Compositing线程）将WebView置为失效（invalidate）状态，继而触发onDraw事件，再把上述过程走一遍。具体过程可参考如下图示：

关键点：独立raster线程，使用gpuraster.

ui线程负责合成raster的结果。不支持webgl.

必要的解释：

• Blink线程启用了Impl-Side-Painting方式，在绘制页面内容时，先将绘制命令录制到一个SkPicture中，稍后再在Raster线程中重放这些绘制命令，从而尽可能的降低Blink线程的负载；

• Raster线程是通过zero-copy技术直接将rasterization绘制到GPU内存中，从而减少了一次CPU到GPU的数据拷贝开销；

• 整个渲染过程中只有一个Compositor，在UI线程将已更新的Web页面内容执行合成操作，写到HardwareCanvas后端的FBO中，然后由AndroidSurfaceFlinger将最后的UI呈现在屏幕上

• 步骤1,2,6和步骤3,4,5是可以同时进行的，步骤3,4,5总是在准备下一帧内容

  1，2，6是onDraw在ui线程触发的逻辑，要返回一份合成的canvas数据。

  3,4,5是要执行绘制layer,以及raster的paint操作，准备下一frame的内容。当然最开始也应该是由onDraw触发的，但是可能是onDraw发送的一个request.

这里还需要特别说明的是，Android4.4系统中WebView是没有单独的GPU线程执行GL命令的，所有的一切都发生在UI线程上，导致很难再提供WebGL的支持了，就算是花些力气支持了WebGL，估计也是吃力不讨好，因为性能是个大问题，在UI线程上执行WebGL很可能导致UI根本不会有响应。

关键点：raster线程，在gpu上rasterskpicture.

ui线程使用gpu上的raster的结果合成。

AndroidL系统WebView的改进

Chromium WebView的演进速度还是相当的快。从最新发布的AndroidL开发者预览版来看，在页面渲染的流水线和线程模型都有不少改进，如下图所示：

关键点：独立raster线程使用gpuraster.

独立gpu线程执行gl命令,支持webgl,

ui线程将gpu线程产生的webgltexture和raster线程产生的texture合成，将结果交给系统的render线程的parentcompositor合成。

Ui线程的compositor成了childcompositor.

ubercompositor的使用

简单的来说，ubercompositor是一个大一统的合成器，不管Chromium系统中存在几个合成器，但最终的合成总是由一个称为ParentCompositor完成，其他的Compositor唯一要做的事情是将自己管理的GPU资源打包为CompositorFrame发送给ParentCompositor，由ParentCompositor根据CompositorFrame包含的RenderPass列表和元数据等，执行合成操作将最后的内容写到Native窗口上，当Parent Compositor完成合成操作，它会通知Childcompositor可以执行资源的清理工作了，如下图所示：

为了吻合AndroidL引入的渲染线程（注：为了和Android系统的渲染线程作区分，Chromium的渲染线程称为Blink线程），将Chromium渲染流程无缝整合到AndroidL系统中，WebView新的架构中引入了两级合成器：

• ChildCompositor：页面内容的合成器，就是前面提到的同步合成器，运行在UI线程上，是一个线程化的合成器，其中Blink线程负责生成渲染层的状态信息，而UI线程负责合成渲染层。每收到onDraw事件后，WebView会使用ChildCompositor合成新的一帧，并将内容打包到CompositorFrame结构体中，稍后Android渲染线程会访问这个结构体。ChildCompositor由android_webview::BrowserViewRenderer创建；

• Parent Compositor：类似于Chrome onAndroid中Browser进程端的合成器，是一个单线程版本的合成器，其作用是在Android系统的渲染线程，注意不是UI线程，通过DrawGL回调函数将已经由ChildCompositor合成好的CompositorFrame绘制到HardwareCanvas上。ParentCompositor由android_webview::HardwareRender创建；

与Android4.4系统不同的是，在AndroidL系统上WebView处理onDraw事件逻辑上可以分解为两个步骤：

• 第一步，在UI线程上调用ChildCompositor合成操作生成新的CompositorFrame，再向Android系统请求执行DrawGL回调函数，但此时DrawGL并不会立即执行。UI线程负责为发生invalidate操作的View生成显示列表，再将这个显示列表同步给渲染线程上的ThreadedRenderer渲染器（我觉的这句话讲的是android系统对一般的view的处理逻辑，对于我们webview可能不是这样的）;

• 第二步，AndroidView系统在渲染线程上将显示列表提交给GPU驱动，绘制View层次的内容，在绘制显示列表的过程中，DrawGL函数将会被调用（是不是意味着我们webview没有给系统我们自己的显示列表？我们只是借用了这个调用时机，完成了类似处理显示列表的逻辑），在渲染线程上请求ParentCompositor将合成的页面内容绘制到HardwareCanvas上。

注：关于DrawGL回调函数是如何分派到Android渲染线程上执行的，由于AndroidL的源代码尚未完全公开，还不能100%确定上述描述是否完全正确。从已有掌握的信息分析来看，UI线程会向HardwareCanvas发起DrawGL调用请求，此时可能不会立即执行DrawGL，而是作为drawOp先保存在HardwareCanvas中，当渲染线程开始重放HardwareCanvas显示列表时，再调用DrawGL。

上述两个步骤与AndroidL采用的渲染线程模型完全吻合，这也是要引入两级合成器的原因。AwContents::DrawGL是将Chromium图形系统整合到Android中的一个极其关键的方法，它是AndroidL渲染线程进入Chromium图形系统的唯一入口，DrawGL是在AndroidL在渲染线程为HardwareCanvas对象重放显示列表被调用的，而另一方面，Chromium只能被动地由渲染线程调用DrawGL操作，唯一能够获取的信息是当前HardwareCanvas后端的FBO对象，然后所有的内容都绘制到这个Canvas上，其他信息诸如消息队列，异步执行任务的能力，都难以获取，这就导致Chromium会在DrawGL中，只能一次性地将任务队列中所有的任务，例如等待SyncPoint，刷新CommandBuffer等，全部执行完毕，这也就是为什么下面提到的WebGL要在一个专门的GPU线程中执行的原因。

此外，WebView这个新型的渲染模型与Android4.4系统是不兼容的，也就是从AndroidL编译出来的libwebviewchromium.so是不能够在Android4.4系统运行的。

WebGL和硬件加速Canvas2D的支持

以WebGL为例，WebView为渲染WebGL还创建了专门的GPU线程，WebGL程序中所有的GL命令都发生在这个线程上。渲染WebGL的egl上下文就是这个线程上创建的，然而，这个egl上下文是一个独立的上下文，不与WebView进程内任何其他上下文共享资源，即与AndroidView系统的上下文不在同一个sharegroup。关于Chromium中上下文和sharegroup相关技术细节，可参阅ChromiumGraphics:3D上下文及其虚拟化一文。AndroidView系统的上下文指的是调用DrawGL绘制HardwareCanvas时的上下文，因此，要将WebGL的内容绘制到HardwareCanvas上，需要解决将WebGL上下文和AndroidView系统上下文之间的texture共享和同步问题。首先，这两个上下文都属于同一进程，因此可以利用EGLImage进行跨线程的texture共享，再次，Chromium图形栈提供的信箱texture（mailboxtexture）机制有助于解决texture共享。Mailboxtexture机制为每个生成的texture生成一个64字节的唯一名字，并建立名字到textureid的全局映射表，所以不管在哪个上下文创建的texture，都可以通过mailbox的名字检索到对应的textureid，mailbox机制的好处就是在一个支持多上下文的环境提供了textureid的全局别名系统，换句话说，有了这个别名系统，所有上下文看起来都属于“同一个share group”。

那么，渲染WebGL是如何使用EGLImage和mailboxtexture机制实现资源共享的呢？

Chromium中WebGL的内容是通过离屏的framebuffer对象渲染到texture中的，在GPU线程的WebGL上下文创建这个texture时将其绑定一个唯一的mailbox名字，还会调用eglCreateImageKHR为这个textureid创建一个可以被其他上下文共享的EGLImage，当AndroidView系统的渲染线程在另一个上下文中执行DrawGL函数，通过mailbox名字可确定GPU线程中的EGLImage，将其绑定到该上下文的一个texture便可以直接使用WebGL上下文的texture了，至此解决了texture共享问题。这里还有一个问题需要交代一下，在多个上下文中共享texture时，必须处理好生产者和消费者之间的同步问题，即执行DrawGL函数绘制新的一帧时，要确保WebGL上下文的所有GL命令都已经执行完毕。Chromium同样提供了一套同步点（syncpoint）机制，来保证多个上下文（Chromium里也称CommandBuffer）之间GL命令的执行次序，在上下文A中插入一个同步点，然后在上下文B中等待这个同步点，可以保证上下文B中的GL命令必须等待上下文同步点A之前所有的GL命令全部执行完毕之后，才能开始执行。

所以，当WebGL将新的一帧内容生成完毕后，会插入一个同步点，而DrawGL时AndroidView系统上下文会等待这个同步点，只有当前WebGL所有GL命令都提交给GPU驱动之后，才开始使用WebGL的内容，从而保证了WebGL内容和DrawGL的同步。关于同步点机制的细节，请参阅ChromiumGraphics:GPU客户端之间同步机制的原理和实现分析一文。

AndroidWebView Shell也支持硬件渲染模式

WebViewShell构建在核心类AwContents之上，AwContents在功能基本上可以等同于android.webkit.WebView类。ChromiumM30的代码库中只能编译出仅支持软件渲染模式的WebViewShell，从ChromiumM38开始，WebViewShell也支持硬件加速渲染了，主要改进的地方是，使用GLSurfaceView作为最后的渲染目的地，如上所述，DrawGL回调函数可以在非UI线程上调用，而GLSurfaceView正好也内建性地支持在单独的线程中被渲染。

小结

最后，来总结一下AndroidL系统WebView的几个重要特点：

• 第一，使用的in-process模式的命令行缓冲区，与Chromium浏览器不同的是，它没有IPC开销；

• 第二，Parent合成器的DrawGL函数是AndroidRender线程进入Chromium系统的唯一入口，它在AndroidRender线程中被调用；

• 第三，WebGL和硬件加速的Canvas2D运行在单独的GPU线程中，并使用EGLImage实现GPU线程和AndroidRender线程之间的GPU资源共享；

• 第四，UI线程仍然有许多事情要做，包括Child合成器”合成“页面内容打包成CompositorFrame结构体，处理用户输入事件等；

• 第五，UI线程和AndroidRender线程需要一定的机制去同步两者对CompositorFrame结构体的访问；

• 第六，WebViewShell已经可以支持硬件加速模式了