BonnySoul的博客

创建opengles 环境进行不同控件的渲染

前言：本文主要描述音视频同步原理，及常见的音视频同步方案，并以代码示例，展示如何以音频的播放时长 为基准，将视频同步到音频上以实现视音频的同步播放。内容如下：1. 音视频同步简单介绍2. DTS和PTS简介 2.1 I/P/B帧 2.2 时间戳DTS、PTS3. 常用同步策略4. 音视频同步简单示例代码1音视频同步简单介绍 对于一个播放器，一般来说，其基本构成均可划分为以下几部分：数据接收（网络/本地）->解复用->音视频解码->音视频同步->音视频输出。

1 前言：声音就是声波，人耳的听觉范围在20Hz-20kHz。 低频的声音沉闷厚重，高频的声音尖锐刺耳。 高于 20kHz的声音为超 声波。2 声音的采集与存储采样，指把时间域或空间域的连续量转化成离散量的过程 。对声音的采样常用麦克风等设备将声音信号转换成电信号，再用模/数转换器将电信号转换成一串用1和0 表示的二进制数字（数字信号）。我们每秒对声音采样上万次，获得上万个按照时间顺序排列的二进制数字。于是，我们就将连续变化不 断的声音转化成了计算机可储存并识别的二进制数字。2.1 采样

1 前言概念: MediaCodec是android提供用于对音视频进行编解码的类，他通过底层的编解码器来实现音视频的功能。解码芯片： 移动端soc的视频硬解码靠的是soc里面的DSP芯片，不是GPU也不是CPU硬解码：指的是系统将某个视频封装类型的文件分离成H.264视频数据量和aac音频数据量，然后再将H264视频数据流转交给DSP芯片进行处理，DSP将了好的一帧帧画面转交给GPU/CPU然后显示在屏幕上，这就是视频硬解码的过程。2 MediaCodec的使用：硬编码设置：配置Media

1 基础扫盲：什么是H264？定义: 对摄像头采集的每一帧视频需要进行编码，由与视频中存在空间和时间的冗余， 需要用算法来去除这些冗余。H264是专门去除这些冗余的算法，我们把这种算法称为H264编码。H264是新一代的编码标准，以高压缩高质量和支持多种网络的流媒体传输著称。应用: 像大多数看到的视频，如rmvb avi mp4 flv 大都是由h264进行编码当然也会有不同的 如 mpeg4 vp9 这样比较冷门的编码。无论是h264 mpeg4...