Android VR Player（全景视频播放器） [10]： VR全景视频渲染播放的实现（exoplayer，glsurfaceview，opengl es）

最新推荐文章于 2025-11-15 02:38:10 发布
原创 最新推荐文章于 2025-11-15 02:38:10 发布 · 1.3w 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

前言

此博客的大部分内容来自我的毕业设计论文，因此语言上会偏正式一点，如果您有任何问题或建议，欢迎留言。在此感谢实验室的聂师兄，全景视频render部分的代码设计主要参考了他所编写的代码来完成，他对视频渲染过程的讲解也让我对此部分有了更好的理解！

为了能播放MEPG-DASH标准的视频，我使用了ExoPlayer作为播放器，而非之前的MediaPlayer
，如有需要，请参考，ExoPlayer播放器MPEG-DASH视频播放。

GLSurfaceView的使用介绍

针对VR视频的播放需求，由于需要使用OpenGL ES 来完成视频渲染工作，所以使用了GLSurfaceView。它是SurfaceView的实现，并使用特定的surface来展示OpenGL的渲染内容。它具有如下特点：

  1. 管理一个surface（一块可以组合进Android view系统的特殊内存）;
  2. 管理EGL显示（即允许使用OpenGL进行渲染）;
  3. 接受由用户提供的渲染器完成渲染工作;开启特定线程完成渲染;
  4. 支持按要求（on-demand rendering.）渲染和连续渲染（continuous rendering）两种模式。

这些特点都说明，GLSurfaceView很适合用来进行渲染工作。
GLSurfaceView的使用包含下面这几部分工作：

首先是初始化：即使用setRenderer(Renderer)来设置一个渲染器。具体的步骤为：

  1. 定制android.view.Surface：GLSurfaceView默认创建一个像素格式为PixelFormat.RGB_888的surface，根据具体的需求，可以选择需要的像素格式，如透明格式，则需要调用getHolder().setFormat(PixelFormat.TRANSLUCENT)来设置。
  2. 选择EGL配置：一个Android设备可能支持多种EGL配置，如通道（channels）数以及每个通道颜色位数不同则EGL配置也不同，所以，在渲染器之前必须指定EGL的配置。默认使用RGB通道和16位深度，在初始化GLSurfaceView时可以通过调用setEGLConfigChooser(EGLConfigChooser)方法来改变EGL配置。
  3. 调试选项（可选）：可以通过调用setDebugFlags(int),和setGLWrapper(GLSurfaceView.GLWrapper)方法来指定GLSurfaceView的调试行为。
  4. 设置渲染器:初始化的最后一步是设置渲染器，通过调用setRenderer(GLSurfaceView.Renderer)来注册一个GLSurfaceView渲染器。真正的OpenGL渲染工作将由渲染器负责完成。
  5. 渲染模式：如在GLSurfaceView的特点中所介绍的，它支持按要求（on-demand rendering.）渲染和连续渲染（continuous rendering）两种模式，设定好渲染器，再使用setRenderMode(int)指定需要使用的渲染模式。

另外两个部分是Activity生命周期和事件处理。

Activity生命周期:GLSurfaceView会在Activity窗口暂停(pause)或恢复(resume)时会收到通知，并调用它的的onPause方法和 onResume方法。这是因为GLSurfaceView是一个重量级的控件，恢复和暂停渲染进程是为了使它能及时释放或重建OpenGL ES的资源。

事件处理:为了处理事件，和其他View的事件处理类似，即继承GLSurfaceView类并重载它的事件方法。事件处理过程中可能涉及到和渲染对象所在的渲染线程的通信，使用queueEvent(Runnable)可以简化这部分工作，当然也可以使用其他标准的进程通信机制中的方法。

VR视频的渲染

VR视频的渲染工作总结起来，主要是两大部分，一是球体的绘制，二是进行球体的纹理贴图工作。具体的实现细节较为复杂，如在完成贴图后，为了能让观众自由地切换视角，还需要使用投影和相机视图，并进行窗口裁剪等工作。VR全景视频完整的渲染播放流程如图1所示：
图1 VR视频渲染播放的流程

创建 GLSurfaceView 对象

在GLSurfaceView的使用介绍中提到真正的OpenGL渲染工作由渲染器来完成，而GLSurfaceView本身所做的工作并不多。根据Android官网的开发者指导，可以直接使用GLSurfaceView，但为了进行事件处理，本应用必须创建一个自己的MyGLSurfaceView，它继承自GLSurfaceView。

创建GLSurfaceView.Renderer类

GLSurfaceView.Renderer负责向GLSurfaceView的渲染工作，而渲染工作主要有下面这三个方法来完成：onSurfaceCreated()：这个方法在GLSurfaceView被创建时，会调用一次，通常在这里进行一些初始化工作，如形状初始化，着色器的编译等;onDrawFrame()：这个方法在每次绘制图像时被调用，绘制主要在这里完成; onSurfaceChanged()：当几何图形发送改变时，会调用这个方法，如屏幕大小发生变化时。

本应用创建一个SphereVideoRenderer，它是GLSurfaceView.Renderer的实现。按照OpenGL ES 2.0可编程管线，绘制一个图形并最终展示在view（送入FrameBuffer中）的过程为：准备顶点（作为输

最低0.47元/天 解锁文章
Android VR Player（全景视频播放器） [2]：开发说明
山城过雨
05-05 1870
Android VR Player（全景视频播放器） [2]：开发说明工具本项目主要的开发工具为Android Studio 2.3,Android SDK Tools版本为26.0.2，Android Platform Version为API 25：Android 7.1.1；版本管理用了git；操作系统为Ubuntu 16.04 LTS。
android vr播放器 开发,Android应用开发之Android VR Player（全景视频播放器）- ExoPlayer播放器MPEG-DASH视频播放...
weixin_42509908的博客
05-27 1183
本文将带你了解Android应用开发之Android VR Player(全景视频播放器)- ExoPlayer播放器MPEG-DASH视频播放，希望本文对大家学Android有所帮助。Android VR Player(全景视频播放器)- ExoPlayer播放器MPEG-DASH视频播放。DASH视频播放初始加载时间更短在之前的博客中 Nginx 搭建DASH服务器 中对如何搭建DAS...
opengl es 全景显示模式触屏操作示例demo
04-30
opengl es 全景显示模式示例demo 分球内显示和球外显示的触屏操作
安卓VR相关-OpenGLes2.0小行星展示全景图demo.rar
07-29
OpenGL es2.0 小行星展示全景图demo.rar,太多无法一一验证是否可用，程序如果跑不起来需要自调，部分代码功能进行参考学习。
如何利用ExoPlayer实现AR标记视频播放：终极指南 [特殊字符]
最新发布
gitblog_00376的博客
11-15 714
ExoPlayer是Android平台上功能强大的媒体播放器库，专为处理复杂视频播放需求而设计。本文将深入探讨如何使用ExoPlayer实现增强现实(AR)标记视频播放功能，为您的应用添加沉浸式AR体验。 ## 什么是ExoPlayer AR标记功能？ ExoPlayer的AR标记功能允许开发者在视频播放过程中叠加自定义图形、文本和信息层，创造增强现实体验。通过OpenGL ES技术，ExoP
Android平台下的全景视频播放器配套教程——1.3 用OpenGL ES 2.0显示一张图片
01-12
Android平台下的全景视频播放器配套教程——1.3 用OpenGL ES 2.0显示一张图片
Android 360度全景视频播放器 VR播放器
10-24
Android 360全景播放器，支持360度全景视频和合影图片，支持陀螺仪，代码可以直接使用
【亲测免费】 推荐一款创新的Android全景视频播放器：MD360Player4Android
gitblog_00016的博客
04-09 2212
在虚拟现实（VR）领域，全景视频的播放体验是至关重要的。今天，我们要向您介绍一个专为Android平台设计的开源全景视频播放器项目——。它以其强大的功能、易用性和灵活性，为开发者和普通用户提供了优质的全景视频解决方案。 ## 项目简介 MD360Player4Android是一个轻量级但功能丰富的库，用于播放360度和3D全景视频。该项目由开发者Ashqal维护，并且持续更新优化，以适应不断变...
【Android开发VR实战】二.播放360°全景视频
weixin_33881753的博客
12-29 975
转载请注明出处：http://blog.youkuaiyun.com/linglongxin24/article/details/53924006 本文出自【DylanAndroid的博客】 【Android开发VR实战】二.播放360°全景视频 VR即Virtual Reality虚拟现实。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统它利用计算机生成一种模拟环境是一种多源信息融合的...
android开发实战（VR技术360°全景播放视频）
06-22
android开发实战 ，vr技术360°全景播放视频
ExoPlayer 使用GLSurfaceView播放视频
08-11
本篇文章将详细讲解如何使用ExoPlayer结合GLSurfaceView来播放视频，并利用OpenGL ES进行渲染。 首先，GLSurfaceView是Android系统提供的一种用于在视图上显示OpenGL ES图形的组件。OpenGL ES是OpenGL的一个子集，...
Android VR Player（全景视频播放器） [6]：视频列表的实现-本地视频-附件资源
03-02
Android VR Player（全景视频播放器） [6]：视频列表的实现-本地视频-附件资源
Android代码-安卓全景视频图片播放器
08-06
Pano360 Pure Java library to play 360 degree panorama video (VR video) on Android. Using OpenGL ES 2.0 Pano 360 是一个Android平台下纯Java的全景（360度/VR）视频播放库，使用OpenGL ES 2.0来进行视频渲染，没有使用第三方库 Demo App 在这里下~ Read this in other languages: English 系列教程：从零开始写一个Android平台下的全景视频播放器 平台需求 OpenGL ES 2.0 Android 4.0.3 (API-15) 以上 特性 单、双屏切换 陀螺仪、触控(拖动、缩放)两种交互模式切换 播放进度控制，控制栏自动隐藏 类似GPUImage的滤镜组，支持多个滤镜叠加，滤镜顺序可在渲染到球体之前或之后 支持原视频渲染（铺满屏幕/剪切/自适应） 支持播放全景图片 视频实时截图 在线视频播放（你可能需要自行处理多种格式的解码问题） 支持锁定任意坐标轴,用户从不同角度进入，看到的是同一个场景
Android全景视频播放器 源代码
11-13
Android全景视频播放器 源代码
Android平台下的全景视频播放器配套教程—— 项目示例代码
01-29
Android平台下的全景视频播放器配套教程，博客地址http://blog.youkuaiyun.com/Martin20150405/article/details/53149578
Android VR视频播放器
08-17
该demo是一个集成了ijkPlayer的VR视频播放器。 完整的页面菜单+播放逻辑。 可切换眼镜模式和全景模式 仿尤果圈VR视频播放器
Android VR Player（全景视频播放器） [9]：ExoPlayer播放器MPEG-DASH视频播放
山城过雨
05-09 3006
前言 DASH视频播放初始加载时间更短 在之前的博客中 Nginx 搭建DASH服务器 中对如何搭建DASH服务器和视频处理做了分享。由于DASH具有动态码率自适应的特点，正好可以应用于VR视频这样平均码率较大的视频的播放，而且DASH作为未来流媒体的统一规范，具有很好的发展前景。 之前我在播放器中播放在线视频走的是rtsp或者http协议，在服务器带宽不是很大的情况，播放效果都不是很好...
android 360全景视频,360度全景视频之VR播放
weixin_33369252的博客
05-29 458
VR即Virtual Reality虚拟现实。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统它利用计算机生成一种模拟环境是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。那么，如何在Android中去开发VR功能的APP呢？我们利用谷歌提供的开源SDK去实现一个360°全景视频的功能#一.在build.gradle中引入谷歌VR的SDK依赖compile...
Android OpenGL ES->GLSurfaceView
mmdev
06-17 243
这个例子是使用OpenGL ES绘图最简单的例子，说明如何使用GLSerfaceView，前面的例子Android OpenGL ES 开发教程(6)：GLSurfaceView 已经详细说明了，本篇不再具体描述。几何图形顶点定义参见Android OpenGL ES 开发教程(8)：基本几何图形定义，颜色定义参见Android OpenGL ES 开发教程(20)：颜色Color。 本例对...
截取当前播放帧画面的方法
08-01
<think>我们使用GSYVideoPlayer或IjkPlayer播放视频时，截取当前播放帧的画面可以通过以下步骤实现： 1. **获取当前播放器的Surface**：IjkPlayer（以及基于它的GSYVideoPlayer）在播放视频时，视频帧会渲染到Surface上。我们需要从这个Surface中获取当前帧。 2. **使用OpenGL ES或Canvas截取**：由于视频帧通常是在一个SurfaceTexture上渲染，我们可以通过这个SurfaceTexture获取当前帧的Bitmap。但是注意，IjkPlayer内部使用的是OpenGL ES进行渲染，所以我们需要在OpenGL ES环境中读取像素。 3. **使用`GLSurfaceView`的`queueEvent()`**：如果播放器使用的是GLSurfaceView（GSYVideoPlayer默认使用TextureView，但也可以使用GLSurfaceView），我们可以通过OpenGL ES的`glReadPixels`来读取当前帧的像素数据。但是，由于GSYVideoPlayer默认使用TextureView，我们需要采用另一种方式。 4. **使用TextureView的`getBitmap()`方法**：如果播放器使用的是TextureView，那么我们可以直接调用TextureView的`getBitmap()`方法来获取当前帧的Bitmap。但是，注意这个方法可能会返回null，因为TextureView必须在attached且渲染完成的情况下才能获取到Bitmap。 5. **考虑异步截取**：由于视频帧是在渲染线程中更新的，我们需要确保在UI线程中安全地获取Bitmap。 具体到GSYVideoPlayer，它内部使用的是`TextureRenderView`（继承自TextureView）。因此，我们可以通过以下方式截取当前帧： **步骤**： 1. 获取GSYVideoPlayer的渲染视图（TextureView）。 2. 调用TextureView的`getBitmap()`方法获取当前帧的Bitmap。 3. 保存Bitmap为图片文件。 **注意**： - 由于`getBitmap()`方法可能会返回上一帧（因为当前帧可能还未渲染完成），所以我们需要确保在正确的时机调用（例如，在需要截取的时候，我们确保视频正在播放，并且视图已经渲染）。 - 另外，`getBitmap()`方法只能在视图附加到窗口（attached to window）且可见时才能成功获取。 **代码示例**： 假设我们有一个GSYVideoPlayer实例`videoPlayer`，我们可以这样截取： ```java // 获取TextureView TextureView textureView = (TextureView) videoPlayer.getRenderView(); if (textureView != null && textureView.isAvailable()) { // 获取当前帧的Bitmap Bitmap bitmap = textureView.getBitmap(); if (bitmap != null) { // 保存Bitmap到文件 saveBitmap(bitmap); } } ``` 保存Bitmap的方法： ```java private void saveBitmap(Bitmap bitmap) { // 创建保存路径 File file = new File(Environment.getExternalStoragePublicDirectory(Environment.DIRECTORY_PICTURES), "screenshot_" + System.currentTimeMillis() + ".png"); try (FileOutputStream out = new FileOutputStream(file)) { bitmap.compress(Bitmap.CompressFormat.PNG, 100, out); // 通知图库更新 MediaScannerConnection.scanFile(this, new String[]{file.getAbsolutePath()}, null, null); } catch (IOException e) { e.printStackTrace(); } } ``` **注意事项**： 1. **权限**：需要写外部存储的权限（在AndroidManifest.xml中声明，并在运行时请求）。 2. **线程**：`getBitmap()`方法可以在任何线程调用，但保存文件的操作应该放在后台线程进行，避免阻塞UI线程。 3. **性能**：`getBitmap()`方法会创建一个新的Bitmap，如果视频分辨率很高，可能会占用较大内存，并且耗时。因此，建议在非主线程执行，或者对Bitmap进行压缩。 但是，请注意，GSYVideoPlayer的渲染视图可能是`TextureRenderView`，它继承自`TextureView`，所以我们可以直接强制转换。获取渲染视图的方法： ```java View renderView = videoPlayer.getRenderView(); if (renderView instanceof TextureView) { TextureView textureView = (TextureView) renderView; // ... 同上 } ``` **另一种方法（通过OpenGL ES）**： 如果上述方法不可用（比如在某些设备上获取的Bitmap为null），我们可以考虑使用OpenGL ES来读取当前帧。这需要我们在渲染的回调中获取。但这种方式比较复杂，需要修改播放器内部代码。 在GSYVideoPlayer中，我们可以通过设置`setGLRenderer`来自定义渲染。但是，这需要我们对播放器的渲染流程有较深的理解。 因此，对于大多数情况，直接使用TextureView的`getBitmap()`方法是最简单的。 **总结步骤**： 1. 获取播放器的渲染视图（确保是TextureView）。 2. 调用`getBitmap()`获取当前帧的Bitmap。 3. 保存Bitmap到文件。 注意：截屏操作最好在用户触发时进行（例如点击一个按钮），并且确保播放器已经初始化完成并正在播放。 如果遇到问题（例如返回的Bitmap为null），可以尝试在`TextureView.SurfaceTextureListener`的`onSurfaceTextureUpdated`回调中执行截取，因为每次视频帧更新都会调用这个回调。但是，频繁截取会影响性能。 示例在`onSurfaceTextureUpdated`中截取： ```java textureView.setSurfaceTextureListener(new TextureView.SurfaceTextureListener() { // ... 其他方法省略 @Override public void onSurfaceTextureUpdated(SurfaceTexture surface) { // 这里可以获取当前帧，但注意不要频繁调用，否则会卡顿 // 我们可以设置一个标志，当需要截取时才获取 if (needCapture) { needCapture = false; Bitmap bitmap = textureView.getBitmap(); // 保存... } } }); ``` 但是，这种方法需要我们在需要截取的时候设置`needCapture`为true，然后在回调中获取。 请根据实际需求选择合适的方法。 最后，记得处理权限和存储路径的问题（Android 10及以上需要使用Scoped Storage）。 希望这能帮助你实现截屏功能。</think>在 Android 中使用 GSYVideoPlayer 或 IJKPlayer 截取当前视频帧并保存为图片，可以通过以下步骤实现： ### 一、核心实现原理 1. **视频帧获取机制** 视频播放器每帧渲染时都会通过 `Surface` 对象输出画面，通过 `TextureView` 的 `getBitmap()` 方法可直接获取当前帧的位图： $$ \text{Bitmap} = \text{TextureView} \cdot \text{getBitmap}() $$ 2. **渲染流程** ```mermaid graph LR A[视频解码] --> B[OpenGL渲染] B --> C[Surface输出] C --> D[TextureView] D --> E[getBitmap捕获] ``` ### 二、具体实现步骤 #### 1. 获取当前帧 Bitmap ```java // 在播放器Activity中 public Bitmap captureCurrentFrame() { // 获取播放器的渲染视图 View renderView = gsyVideoPlayer.getRenderView(); if (renderView instanceof TextureView) { TextureView textureView = (TextureView) renderView; return textureView.getBitmap(); // 核心捕获方法 } return null; } ``` #### 2. 保存为图片文件 ```java public void saveFrameAsImage(Bitmap bitmap) { // 创建存储路径 File file = new File(Environment.getExternalStoragePublicDirectory( Environment.DIRECTORY_PICTURES), "video_frame_" + System.currentTimeMillis() + ".jpg"); try (FileOutputStream fos = new FileOutputStream(file)) { bitmap.compress(Bitmap.CompressFormat.JPEG, 90, fos); // JPEG压缩质量90% fos.flush(); // 通知系统更新图库 MediaScannerConnection.scanFile(this, new String[]{file.getAbsolutePath()}, null, null); } catch (IOException e) { e.printStackTrace(); } } ``` #### 3. 完整调用示例 ```java // 按钮点击事件 findViewById(R.id.btn_capture).setOnClickListener(v -> { Bitmap frame = captureCurrentFrame(); if (frame != null) { saveFrameAsImage(frame); Toast.makeText(this, "截图保存成功", Toast.LENGTH_SHORT).show(); } }); ``` ### 三、关键注意事项 1. **线程安全** 在 `onSurfaceTextureUpdated` 回调中执行捕获操作，确保渲染完成： ```java textureView.setSurfaceTextureListener(new TextureView.SurfaceTextureListener() { @Override public void onSurfaceTextureUpdated(SurfaceTexture surface) { // 此处可安全捕获当前帧 } }); ``` 2. **性能优化** - 使用 `Bitmap.createScaledBitmap()` 压缩图片尺寸 - 异步执行保存操作： ```java new AsyncTask<Bitmap, Void, File>() { protected File doInBackground(Bitmap... bitmaps) { return saveImage(bitmaps[0]); } }.execute(frameBitmap); ``` 3. **权限处理** AndroidManifest.xml 添加存储权限： ```xml <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/> ``` ### 四、适配不同渲染模式 | **渲染模式** | **截取方法** | **适用场景** | |-------------|------------|------------| | TextureView | `getBitmap()` | 默认推荐方案 | | SurfaceView | 通过OpenGL `glReadPixels` | 高性能需求 | | GLSurfaceView | `queueEvent()` + GL操作 | VR/全景视频 | **SurfaceView 特殊处理**： ```java // 使用OpenGL读取像素 GLES20.glReadPixels(0, 0, width, height, GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE, buffer); // 转换为Bitmap Bitmap bitmap = Bitmap.createBitmap(width, height, Bitmap.Config.ARGB_8888); bitmap.copyPixelsFromBuffer(buffer); ``` ### 五、数学原理 视频帧捕获本质是矩阵变换： $$ \begin{bmatrix} R' \\ G' \\ B' \\ A' \end{bmatrix} = \begin{bmatrix} a_{11} & a_{12} & a_{13} & 0 \\ a_{21} & a_{22} & a_{23} & 0 \\ a_{31} & a_{32} & a_{33} & 0 \\ 0 & 0 & 0 & 1 \end{bmatrix} \cdot \begin{bmatrix} R \\ G \\ B \\ A \end{bmatrix} $$ 其中变换矩阵 $a_{ij}$ 由 YUV-RGB 转换决定[^1]。 ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值