SurfaceView,GLSurfaceView,SurfaceTexture,VideoView及TextureView（Surface）

  SurfaceView从Android 1.0(API level 1)时就有 。它继承自类View，因此它本质上是一个View。但与普通View不同的是，它有自己的Surface。我们知道，一般的Activity包含的多个View会组成View hierachy的树形结构，只有最顶层的DecorView，也就是根结点视图，才是对WMS可见的。这个DecorView在WMS中有一个对应的WindowState。相应地，在SF中对应的Layer。而SurfaceView自带一个Surface，这个Surface在WMS中有自己对应的WindowState，在SF中也会有自己的Layer。

-- SurfaceView与View GLSurfaceView的区别：

  View：显示视图，内置画布，提供图形绘制函数、触屏事件、按键事件函数等；必须在UI主线程内更新画面，速度较慢；必须在UI的主线程中更新画面，用于被动更新画面。

  SurfaceView：基于view视图进行拓展的视图类，更适合2D游戏的开发；是view的子类，类似使用双缓机制，在新的线程中更新画面所以刷新界面速度比view快。UI线程和子线程中都可以。在一个新启动的线程中重新绘制画面，主动更新画面。UI线程和渲染线程。

  GLSurfaceView：基于SurfaceView视图再次进行拓展的视图类，专用于3D游戏开发的视图；是SurfaceView的子类，openGL专用。GLSurfaceView.onResume();  GLSurfaceView.onPause()

> Surface显示组件

 简单地说Surface对应了一块屏幕缓冲区，每个window对应一个Surface，任何View都是画在Surface上的，传统的view共享一块屏幕缓冲区，所有的绘制必须在UI线程中进行.
 Surface是纵深排序(Z-ordered)的，这表明它总在自己所在窗口的后面。Surfaceview提供了一个可见区域，只有在这个可见区域内的Surface部分内容才可见，可见区域外的部分不可见。Surface的排版显示受到视图层级关系的影响，它的兄弟视图结点会在顶端显示。这意味者 Surface的内容会被它的兄弟视图遮挡，这一特性可以用来放置遮盖物(overlays)(例如，文本和按钮等控件)。注意，如果Surface上面 有透明控件，那么它的每次变化都会引起框架重新计算它和顶层控件的透明效果，这会影响性能。
 -- SurfaceView的核心在于提供了两个线程：UI线程和渲染线程。
 1. 所有SurfaceView和SurfaceHolder.Callback的方法都应该在UI线程里调用，一般来说就是应用程序主线程。渲染线程所要访问的各种变量应该作同步处理
 2. 由于Surface可能被销毁，它只在SurfaceHolder.Callback.surfaceCreated()和SurfaceHolder.Callback.surfaceDestroyed()之间有效，所以要确保渲染线程访问的是合法有效的Surface。

-- （View在游戏和视频中的使用及demo）,也可以使用TextureView和SurfaceTexture进行相机拍照

  SurfaceView专门提供了嵌入视图层级的绘制界面，开发者可以控制该界面像Size等的形式，能保证界面在屏幕上的正确位置。但也有局限：由于SurfaceView是独立的一层View，更像是独立的一个Window，不能加上动画、平移、缩放；两个SurfaceView不能相互覆盖。

 Texture更像是一般的View，像TextView那样能被缩放、平移，也能加上动画。TextureView只能在开启了硬件加速的Window中使用，并且消费的内存要比SurfaceView多，并伴随着1-3帧的延迟。

   GPU加速。使用普通的SurfaceView游戏画布（Android中2D专用游戏画布）中进行绘制图片，然后在GLSurfaceView（Android中3D游戏专用画布）中渲染图片的对比中发现GLSurfaceView的效率是SurfaceView的30倍～呵呵，高了30倍的效率～这是什么概念，可想而知。GLSurfaceView的效率高主要是因为机器硬件的GPU加速，现在flash技术也有了GPU加速技术。

  -- View,SurfaceView,GLSurfaceView的关系：
  SurfaceView是View的子类，它继承了View的特性，因此它能够叠加在其它的视图中。但是它又有着与其它视图不一样的特性，即它里面镶嵌了一个Surface。该Surface一般在包含SurfacevView的窗口后面.SurfaceView中的surface的生命周期。
  GLSurfaceView是SurfaceView的子类，它继承了Surfaceview的全部特性。 只不过，GLSurfaceView有个GLthread能够允许我们其上的Surface进行独立渲染视图。通过Renderer接口，我们可以调用opengl做自己的渲染。之后GLSurfaceView通过setRenderer方法启动GLthread线程。

Android TextureView 和 SurfaceView 对比浅析- http://blog.youkuaiyun.com/lrh_12580/article/details/51308139
android 5.0(Lollipop)中的SurfaceTexture，TextureView, SurfaceView和GLSurfaceView- http://blog.youkuaiyun.com/jinzhuojun/article/details/44062175

玩转Android Camera开发(二):使用TextureView和SurfaceTexture预览Camera 基础拍照demo- http://blog.youkuaiyun.com/yanzi1225627/article/details/33313707
PlayCamera_V2.0.0[TextureView预览Camera 拍照完整demo]- http://download.youkuaiyun.com/detail/yanzi1225627/7540903

Android学习之 VideoView，SurfaceView: http://blog.youkuaiyun.com/abidepan/article/details/8679837
引用：https://www.zhihu.com/question/30922650

-- 在Android中，我们有四种方式来实现视频的播放： 
1、使用其自带的播放器。指定Action为ACTION_VIEW,Data为Uri，Type为其MIME类型。
2、使用VideoView来播放。在布局文件中使用VideoView结合MediaController来实现对其控制。
3、使用MediaPlayer类和SurfaceView来实现，这种方式很灵活。
4、使用MediaPlayer类和TextureView来实现，这种方式更灵活。

--  当场景中有多个SurfaceView的时候，上层的SurfaceView可能会被下层的遮挡，这个时候需要使用setZOrderOnTop(true)或者setZOrderMediaOverlay(true)来控制SurfaceView的显示层次。
> Android Surface创建
  Android的每个应用程序窗体，即每个Activity组件，都有一个关联的Surface对象，这个Surface对象是保在在一个关联的ViewRootImpl对象的成员变量mSurface中的。
  Surface是一个raw buffer的句柄，通过它去管理一个raw buffer，其次，Surface本身是由screen compositor来管理的。
-- Android Surface的创建涉及三个进程

 1.App 进程 
Surface本质上是一个Native Window, 并且保存着需要在屏幕上显示的数据(buffer), 它通常包含 triple-buffers 以防止Jank。
那么谁要创建Surface呢? 当然是App了，App需要将自己的内容显示在屏幕上，所以App负责发起Surface创建请求，创建好Surface后, 就可以直接可以在canvas上画图等，最终都会保存到Surface里的buffer里，最后由SurfaceFlinger合成并显示。

 2.System_Server进程 主要是其中的WindowManagerService, 负责接收APP请求，向SurfaceFlinger发起具体的请求创建Surface, 且WMS需要创建Surface的辅助管理类，如SurfaceControl。
为什么需要与system进程打交道呢？App直接通知SurfaceFlinger创建Surface不就行了？为什么还需要通过system进程呢？个人猜想可能是统一由WMS管理，以及当前系统中的窗口的Z -order计算， 减轻SurfaceFlinger的负担。
 3.SurfaceFlinger 为App进程创建具体的Surface, 在SurfaceFlinger里对应成Layer, 然后负责管理、合成显示。

-- APP/WMS/SurfaceFlinger通信流程创建：

App启动Main Activity， 1.首先创建好与WMS通信的媒介Session,
 2.然后通过Session将Window加入到WMS中，这时会触发 SurfaceSession的创建

 3.SurfaceSession的创建又会在WMS Native创建SurfaceComposerClient,
 4.最终在SurfaceFlinger里创建与SurfaceComposerClient对应的Client
至此 整个通信通道(APP(Session) -> WMS, WMS(SurfaceComposerClient) -> SurfaceFlinger(Client))已经建立起来了。

-- 对Window进行布局(relayout)

Choreographer会接收 SurfaceFlinger 的Vsync信号， 参考Android SurfaceFlinger SW Vsync模型
然后执行 doFrame -> performTraverals()
接着通过 Session去请求WMS 对Window布局 (relayout)

relayout 主要是

创建 Jave/Native端的 SurfaceControl
通过 SurfaceComposerClient 通知 Client(SurfaceFlinger中)去创建 Layer, 并由SurfaceFlinger管理起来
SurfaceControl创建好后就开始创建真正的 native的Surface
App Surface通过relayout返回的parcel创建出App端的Surface。
 

 > SurfaceView(API 1)

横竖屏切换SurfaceView 大小的调整- http://blog.youkuaiyun.com/wning1/article/details/52973616

  SurfaceView具有双缓冲技术，该技术不是Android特有的而是早就有的，那么什么是双缓冲呢？以前无双缓冲的UI刷新是先将界面清除再进行绘制界面，这样做会有弊端，容易出现白屏，白屏出现次数多的话容易让用户看到闪屏，而双缓冲则是已经存在了两个界面，想要刷新界面时，直接将另一个界面覆盖在该界面上面，隐藏的界面就会在系统的内存中擦掉页面，重新绘制，由于没有在屏幕进行擦除页面，因此不会出现白屏。 

   SurfaceView是视图(View)的继承类，这个视图里内嵌了一个专门用于绘制的Surface。你可以控制这个Surface的格式和尺寸。Surfaceview控制这个Surface的绘制位置。 
  surface是纵深排序(Z-ordered)的，这表明它总在自己所在窗口的后面。surfaceview提供了一个可见区域，只有在这个可见区域内 的surface部分内容才可见，可见区域外的部分不可见。surface的排版显示受到视图层级关系的影响，它的兄弟视图结点会在顶端显示。这意味者 surface的内容会被它的兄弟视图遮挡，这一特性可以用来放置遮盖物(overlays)(例如，文本和按钮等控件)。注意，如果surface上面 有透明控件，那么它的每次变化都会引起框架重新计算它和顶层控件的透明效果，这会影响性能。 
你可以通过SurfaceHolder接口访问这个surface，getHolder()方法可以得到这个接口。 
    surfaceview变得可见时，surface被创建；surfaceview隐藏前，surface被销毁。这样能节省资源。如果你要查看 surface被创建和销毁的时机，可以重载surfaceCreated(SurfaceHolder)和 surfaceDestroyed(SurfaceHolder)。 

-- surfaceview的理解：
1、定义
    可以直接从内存或者DMA等硬件接口取得图像数据,是个非常重要的绘图容器。
它的特性是：可以在主线程之外的线程中向屏幕绘图上。这样可以避免画图任务繁重的时候造成主线程阻塞，从而提高了程序的反应速度。在游戏开发中多用到SurfaceView，游戏中的背景、人物、动画等等尽量在画布canvas中画出。
2、实现
    首先继承SurfaceView并实现SurfaceHolder.Callback接口
使用接口的原因：因为使用SurfaceView 有一个原则，所有的绘图工作必须得在Surface 被创建之后才能开始(Surface—表面，这个概念在 图形编程中常常被提到。基本上我们可以把它当作显存的一个映射，写入到Surface 的内容
可以被直接复制到显存从而显示出来，这使得显示速度会非常快)，而在Surface 被销毁之前必须结束。所以Callback 中的surfaceCreated 和surfaceDestroyed 就成了绘图处理代码的边界。

-- Canvas与Surface的有些区别：
    Canvas是Java层构建的数据结构，是给View用的画布。ViewGroup会把自己的Canvas拆分给子View。View会在onDraw方法里将图形数据绘制在它获得的Canvas上。而Surface是Native层构建的数据结构，是给SurfaceFlinger用的画布。它是直接被用来绘制到屏幕上的数据结构。
    开发者一般所用的View都是在Canvas进行绘制，然后最顶层的View（通常是DecorView)的Canvas的数据信息会转换到一个Surface上。SurfaceFlinger会将各个应用窗口的Surface进行合成，然后绘制到屏幕上（实际上是一个Buffer，但一般开发者不用考虑这些，所以省略一些概念）。
-- SurfaceView的存在理由：
  这是因为View的测量（Measure），布局（Layout）以及绘制（Draw）的计算量比较大。计算完以后再从Canvas转换成Surface中数据，然后再绘制屏幕，这个流程比较耗时。对于常规的UI绘制不会有什么问题，但是像Camera的预览以及视频的播放这样的应用场景来说就不可接受了。
  SurfaceView就是为了解决这个问题。SurfaceView内容不再是绘制在Canvas上，而是直接绘制在其持有的一个Surface上。由于省去了很多步骤，其绘制性能大大提高。而SurfaceView本身只是用来控制这个Surface的大小和位置而已。
    一个是设备层一个是绘制层吧，一般图形接口都会把 surface, graphics两个层次抽象出来，前者更面向硬件和窗口/视图设备，后者更多是面向图形接口。

Android MediaPlayer+SurfaceView播放视频（附Demo）- http://blog.youkuaiyun.com/junzia/article/details/52704129

Android用surface直接显示yuv数据（二）- http://blog.youkuaiyun.com/tung214/article/details/37651825
    利用SoftwareRenderer来直接render yuv数据显示，摄像头采集到的yuv，可以直接丢yuv数据到surface显示，无需耗时耗效率的yuv转RGB了。
Android用C++创建surface显示RGB数据- http://blog.youkuaiyun.com/tung214/article/details/36628897
stagefright之MPEG4Extractor（二）(stts,stsc,stco)- http://blog.youkuaiyun.com/tung214/article/details/30492895

    SurfaceView 出现最早，解决类似视频播放的问题（可以用单独一个线程来渲染UI）。后来发现用起来不方便，渲染线程需要单独编写， 一大堆都可以独立成模板。

  SurfaceView可以通过SurfaceHolder.addCallback方法在子线程中更新UI，SurfaceView具有双缓冲技术.Surfaceview只要不可见就不会创建，只有可见的时候才能运行；只要不可见就被销毁。
  SurfaceView属于View的子类 它是专门为制作游戏而产生的，它的功能非常强大，最重要的是它支持OpenGL ES库，2D和3D的效果都可以实现。创建SurfaceView的时候需要实现SurfaceHolder.Callback接口，它可以用来监听SurfaceView的状态，SurfaceView的改变 SurfaceView的创建 SurfaceView 销毁。使用SurfaceView构建游戏框架它的绘制原理是绘制前先锁定画布 然后等都绘制结束以后, 在对画布进行解锁 最后在把画布内容显示到屏幕上。
 开发游戏时尽量使用SurfaceView而不要使用View，这样的话效率较高，而且SurfaceView的功能也更加完善.

-- SurfaceView半屏与全屏的切换   Android ???
 当切换全屏时，就要将屏幕先从横屏转为竖屏显示，在代码中若执行 setRequestedOrientation(ActivityInfo.SCREEN_ORIENTATION_LANDSCAPE);那么activity就会重新执行onCreate方法，那么状态切换就会有问题，查找了很多资料，都没有确切的答案。在修改尝试之后，发现，在配置文件中，视频的activity一定要设置configChanges属性，Android:configChanges="keyboardHidden|orientation|screenSize"，并且设置theme为notitlebar,否则设置的configChanges就会出错，这样当切换为横屏全屏显示时，就不会重走一遍onCreate方法，那么全屏与半屏的切换效果也就实现了。
调整surfaceView播放视频时的显示比例- http://blog.chinaunix.Net/uid-20771867-id-4156141.html
http://blog.youkuaiyun.com/u013598660/article/details/23670067
@Override
public void onVideoSizeChanged(MediaPlayer mp, int width, int height) {
        if (width == 0 || height == 0) {
            Log.e(TAG, "invalid video width(" + width + ") or height(" + height
                    + ")");
            return;
        }
        Logger.d(TAG, "onVideoSizeChanged width:" + width + " height:" + height);
        mIsVideoSizeKnown = true;
        mVideoHeight = height;
        mVideoWidth = width;


        int w = mSurfaceViewHeight * width / height;
        int margin = (mSurfaceViewWidth - w) / 2;
        Logger.d(TAG, "margin:" + margin);
        RelativeLayout.LayoutParams lp = new RelativeLayout.LayoutParams(
                RelativeLayout.LayoutParams.MATCH_PARENT,
                RelativeLayout.LayoutParams.MATCH_PARENT);
        lp.setMargins(margin, 0, margin, 0);
        mSurfaceView.setLayoutParams(lp);


        if (mIsVideoReadyToBePlayed && mIsVideoSizeKnown) {
            startVideoPlayback();
        }
    }

> GLSurfaceView(API 3)

  GLSurfaceView从Android 1.5(API level 3)开始加入，作为SurfaceView的补充。它可以看作是SurfaceView的一种典型使用模式。在SurfaceView的基础上，它加入了EGL的管理，并自带了渲染线程。另外它定义了用户需要实现的Render接口，提供了用Strategy pattern更改具体Render行为的灵活性。作为GLSurfaceView的Client，只需要将实现了渲染函数的Renderer的实现类设置给GLSurfaceView即可。

  后来就出现了 GLSurfaceView, 概括一句话就是 使用了模板的 SurfaceView。
再后来发现GLSurfaceView不能根据屏幕的变化而变化， 这是由于GLSurfaceView同应用的Surface不是在同一层导致的问题。

 关于多媒体播放这一块，感兴趣的同学可以关注google4.4源码，的media/cts案例。 
关于glsurfaceview感兴趣的可以关注google的grafika项目。

-- GLSurfaceView与EGL区别：
1.GLSurfaceView隐藏了EGL操作及渲染线程的细节，并提供了生命周期回调方法。
2.EGL可以控制渲染循环，例如：可以没法控制帧速（fps），GLSurfaceView不能.

GLSurefaceView的代码使用：

glSurefaceView.setRenderer(new GLSurfaceViewRender());
class GLSurfaceViewRender implements GLSurfaceView.Renderer {

@Override
public void onSurfaceCreated(GL10 gl, EGLConfig config) {
Log.i(TAG, "onSurfaceCreated");
gl.glClearColor(0.0f, 0f, 1f, 0.5f);
}

@Override
public void onSurfaceChanged(GL10 gl, int width, int height) {
gl.glViewport(0, 0, width, height);
Log.i(TAG, "onSurfaceChanged");
}

@Override
public void onDrawFrame(GL10 gl) {
Log.i(TAG, "onDrawFrame");
gl.glClear(GL10.GL_COLOR_BUFFER_BIT);
}
}

> SurfaceTexture(API 11)

  SurfaceTexture从Android 3.0(API level 11)加入。和SurfaceView不同的是，它对图像流的处理并不直接显示，而是转为GL外部纹理，因此可用于图像流数据的二次处理（如Camera滤镜，桌面特效等）。比如Camera的预览数据，变成纹理后可以交给GLSurfaceView直接显示，也可以通过SurfaceTexture交给TextureView作为View heirachy中的一个硬件加速层来显示。

    SurfaceTexture 这个东西不是用来显示给用户看的， 它是一个Texture, 意识是纹理， 可以想象成一个View的中间件。
举个例子：
1 : Camera 把视频采集的内容交给 SurfaceView, 就变成了照相机。
2：Camera 把视频采集的内容交给 SurfaceTexture， SurfaceTexture 在对内容做个美颜， 然后SurfaceTexture 再把内容交给 SurfaceView， 就变成了美图秀秀。

> TextureView(API 14)

  TextureView在4.0(API level 14)中引入。它可以将内容流直接投影到View中，可以用于实现Live preview等功能。和SurfaceView不同，它不会在WMS中单独创建窗口，而是作为View hierachy中的一个普通View，因此可以和其它普通View一样进行移动，旋转，缩放，动画等变化。值得注意的是TextureView必须在硬件加速的窗口中。

  SurfaceView是一个有自己Surface的View。它的渲染可以放在单独线程而不是主线程中。其缺点是不能做变形和动画。SurfaceTexture可以用作非直接输出的内容流，这样就提供二次处理的机会。与SurfaceView直接输出相比，这样会有若干帧的延迟。同时，由于它本身管理BufferQueue，因此内存消耗也会稍微大一些。TextureView是一个可以把内容流作为外部纹理输出在上面的View。它本身需要是一个硬件加速层。事实上TextureView本身也包含了SurfaceTexture。它与SurfaceView+SurfaceTexture组合相比可以完成类似的功能（即把内容流上的图像转成纹理，然后输出）。区别在于TextureView是在View hierachy中做绘制，因此一般它是在主线程上做的（在Android 5.0引入渲染线程后，它是在渲染线程中做的）。而SurfaceView+SurfaceTexture在单独的Surface上做绘制，可以是用户提供的线程，而不是系统的主线程或是渲染线程。另外，与TextureView相比，SurfaceView还有个好处是可以用Hardware overlay进行显示。

   由于holder的存在，SurfaceView也不能进行像View一样的setAlpha和setRotation方法，但是对于一些类似于坦克大战等需要不断告诉更新画布的游戏来说，SurfaceView绝对是极好的选择。但是比如视频播放器或相机应用的开发，TextureView则更加适合。SurfaceView和TextureView均继承于android.view.View，与其它View不同的是，两者都能在独立的线程中绘制和渲染，在专用的GPU线程中大大提高渲染的性能。

-- TextureView则可以通过TextureView.setSurfaceTextureListener在子线程中更新UI.

TextureView在4.0(API level 14)中引入。GLSurfaceView从Android 1.5(API level 3)开始加入.
1、Android5.0以下，获取root权限使用adb shell screenrecord命令功能进行录制
2、Android5.0以上，使用系统Api功能：MediaProjection和VirtualDisplay

> VideoView

    VideoView并不是支持播放所有格式的视频，它仅支持mp4和3gp格式的文件,实际上它的本质是SurfaceView+MediaPlayer的封装。而SurfaceView一般是用于游戏，它不适用的原因有两个，一是它支持视频播放的格式有限，二是在播放视频的时候消耗的系统内存比较大。

  VideoView github完整demo，欢迎star: https://github.com/WangShuo1143368701/VideoView 

  VideoView是android自身为我们提供的视频播放的组件，但是它仅支持播放mp4和3gp格式的文件，能播放的视频文件格式非常少。
  视频暂停时，VideoView与SurfaceView视频播放页面进行横竖屏切换时，VideoView显示正常；而openGL+SurfaceView显示不正常，画面只显示部分画面,而MediaPlayer+SurfaceView横竖横竖屏切换也是正常的。