音视频技术学习（01）_darren音视频开发-优快云博客

红橙Darren有关音视频学习笔记记录：

1. 音视频基础知识

1.1. 视音频播放器（华为视频，腾讯视频，喜马拉雅，QQ音乐）

2.1. 短视频（抖音，小火山，微视）

3.1. 视音频的直播（有信，QQ音乐的电台，视频直播）+ OpengGL

https://blog.youkuaiyun.com/leixiaohua1020 雷霄骅

https://www.cnblogs.com/skyfsm/p/7411961.html

市面上我们所熟悉的音视频开发大致有：视频播放器、短视频、视音频直播 等等，他们之间有很多的共性像音视频编解码、视音频同步等，因此我们首先来看下这些共性内容。假设我们现在要播放一个本地视频，需要经过哪些步骤呢？大家不妨自己先思考一下，当然这里不是说集成 ijkplayer 或者 ExoPlayer 等开源库，目前只给一个 SurfaceView 和一个视频文件，在此基础上实现一个视频播放。

我们先来看一个简单的流程图：

视音频播放流程.png

基于上面这个图，我们再来看一些具体的细节：

解封装

将输入的封装格式的数据(文件)，分离成为音频流压缩编码数据和视频流压缩编码数据。封装格式种类很多，具体可以参考下面这张表，它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如，FLV 格式的数据，经过解封装操作后，输出 H.264 编码的视频码流和 AAC 编码的音频码流。

名称	推出机构	支持的视频编码	支持的音频编码
AVI	Microsoft Inc.	几乎所有格式	几乎所有格式
MP4	MPEG	MPEG-2, MPEG-4, H.264, H.263等	AAC, MPEG-1 Layers I, II, III, AC-3等
TS	MPEG	MPEG-1, MPEG-2, MPEG-4, H.264	MPEG-1 Layers I, II, III, AAC,
FLV	Adobe Inc.	Sorenson, VP6, H.264	MP3, ADPCM, Linear PCM, AAC等
MKV	CoreCodec Inc.	几乎所有格式	几乎所有格式
RMVB	Real Networks Inc.	RealVideo 8, 9, 10	AAC, Cook Codec, RealAudio Lossless

视音频解码

将视频/音频压缩编码数据，解码成为非压缩的视频/音频原始数据。音频的压缩编码标准包含 AAC，MP3，AC-3 等等，视频的压缩编码标准则包含 H.264，MPEG2，VC-1 等等。解码是整个系统中最重要也是最复杂的一个环节。通过解码，压缩编码的视频数据输出成为非压缩的颜色数据，例如 YUV420P，RGB 等等；压缩编码的音频数据输出成为非压缩的音频抽样数据，例如 PCM 数据。

视频编码

视频编码的主要作用是将视频像素数据（RGB，YUV等）压缩成为视频码流，从而降低视频的数据量。如果视频不经过压缩编码的话，体积通常是非常大的，一部电影可能就要上百G的空间。视频编码是视音频技术中最重要的技术之一。视频码流的数据量占了视音频总数据量的绝大部分。高效率的视频编码在同等的码率下，可以获得更高的视频质量。主要的编码方式有 HEVC(H.265)，H.264，MPEG4，MPEG2，VP9，VP8，VC-1 等等。

音频编码

音频编码的主要作用是将音频采样数据（PCM等）压缩成为音频码流，从而降低音频的数据量。音频编码也是互联网视音频技术中一个重要的技术。但是一般情况下音频的数据量要远小于视频的数据量，因而即使使用稍微落后的音频编码标准，而导致音频数据量有所增加，也不会对视音频的总数据量产生太大的影响。高效率的音频编码在同等的码率下，可以获得更高的音质。主要的编码方式有 AAC，AC-3，MP3，WMA 等等。

作者：红橙Darren
链接：https://www.jianshu.com/p/de93a8d2a84a

视频的像素数据分析：

RGB：（24字节）

RGBA：（32字节）

YUV：Y黑白电视，亮度；U 色度，V 饱和度， YUV440，YUV420，YUV444

YUV：发现比例可以不一样，为什么可以，人脸对亮度比较敏感，对色度没这么敏感

YUV444 : （Y：U：V）比例 1:1:1，

YUV420 比例 2:1:0

视频解码H264 编解码的思想

认为每一帧之间都有相同的数据，我就充分利用这个特性，这里涉及到的算法：研究生博士生基本能搞懂了，熵编码，帧内预测，帧间预测，环形滤波

补充：H264码流怎么存？一个一个的 NALU 存起来的，大小是不固定的，一个 NALU 代表的是一帧画面，办法就是设置两个标志位

音频的采样数据分析：PCM 采样：录音机

声道 : 2声道（左右声道，立体声） 5point1 环绕声