ffmpeg从入门到精通_FFmpeg 开发(04)：FFmpeg + OpenGLES 实现音频可视化播放

该文章首发于微信公众号：字节流动

FFmpeg 开发系列连载：

字节流动：FFmpeg 开发(01)：FFmpeg 编译和集成​zhuanlan.zhihu.com

字节流动：FFmpeg 开发(02)：FFmpeg + ANativeWindow 实现视频解码播放​zhuanlan.zhihu.com

字节流动：FFmpeg 开发(03)：FFmpeg + OpenSLES 实现音频解码播放​zhuanlan.zhihu.com

本文基于上一篇文章 FFmpeg + OpenSLES 实现音频解码播放 ，利用 FFmpeg 对一个 Mp4 文件的音频流进行解码，然后将解码后的 PCM 音频数据进行重采样，最后利用 OpenSLES 进行播放的同时，将 PCM 音频一个通道的数据实时渲染成柱状图。

关于音频的可视化，在旧文中，我们曾经实现过将 Android AudioRecorder 采集的实时音频单通道 PCM 数据用 OpenGL 渲染成柱状图。具体的渲染过程和细节，请移步这篇文章，代码已开源：

OpenGL ES 实现可视化实时音频

提取一个通道的音频数据

在上一篇文章，我们构建 OpenSLES 播放器时，对数据格式的定义如下：

SLDataFormat_PCM 

从上面代码中可以看出，音频驱动接收的 PCM 数据的采样率是 44.1kHz，双通道，采样大小 2 字节。由于我们要渲染的是一个通道的 PCM 数据，所以需要对双通道的数据做一个提取。

如上图所示，解码后的 PCM 数据是 2 个通道的数据交叉存储，当使用指针偏移提取某一通道的数据时，每次偏移的步长是 2 字节 X 通道数 = 4 个字节。

提取某一通道的 PCM 数据方式如下，通过该方式我们可以将一帧音频数据每个通道的数据进行分离。

//小端序存储的音频数据

另外需要注意的是，数据的存储方式分为大端序和小端序，小端序指低地址存放低位、高地址存放高位，大端序与小端序相反，即低地址存放高位，分离通道数据需要注意。

//大端序存储的音频数据

OpenGL ES 渲染音频数据

OpenGLES 全称 OpenGL for Embedded Systems ，是三维图形应用程序接口 OpenGL 的子集，本质上是一个跨编程语言、跨平台的编程接口规范，主要应用于嵌入式设备，如手机、平板等。

由于前期已经系统地阐述了 OpenGL ES 相关知识点，这里就不做展开叙述，详细内容请参考：

Android OpenGL ES 从入门到精通系统性学习教程

利用 OpenGL 渲染音频数据，本质上就是根据音频数据的值去构建一组如下图所示的网格，最终渲染成条状图。

接下来就是代码实现过程，首先在 Java 层创建 GLSurfaceView 的 Render ，FFMediaPlayer 中增加对应 Native 函数：

private 

对应 Java 层接口的 JNI :

//可视化音频的渲染接口

Native 层实现音频渲染的类：

#include 

最后只需要在 OpenSLES 播放器的回调函数（见上篇文章）中调用下面函数即可：

AudioFrame 

联系与交流

有疑问或技术交流可以添加我的微信：Byte-Flow

https://u.wechat.com/MDM-uYy5VU9PKtDvE5-Qsaw (二维码自动识别)