视频音频学习参考

这里记录的内容主要供本人自己学习参考用。将网上搜到的资料在此进行摘录便于学习。

一、参考文章

学习视音频编程雷霄骅的文章开始。

1、AAC格式简介_雷霄骅(leixiaohua1020)的专栏-优快云博客_aac

AAC的音频文件格式有以下两种：

ADIF：Audio Data Interchange Format 音频数据交换格式。格式头就在文件开始处，这种格式常用在磁盘文件中。

ADTS：Audio Data Transport Stream 音频数据传输流。它是一个有同步字的比特流，解码可以在这个流中任何位置开始。它的特征类似于mp3数据流格式。这种格式可以用于广播电视。

简言之。ADIF只有一个文件头，ADTS每个包前面有一个文件头。

AAC的ADIF格式见下图：

AAC的ADTS的一般格式见下图：

 

 二、理论知识
1.音频采样率，采样格式，音调，响度，音色
2.什么是解码，什么是编码，为什么要有解码和编码
3.视频像素格式YUV420P采样是4:2:0采样，怎么理解4：2：0
4,YUV420P在内存中的表现形成，对比RGB24
5,掌握yuv采样规则，实现图像镜像，融合，裁剪，缩放，叠加，旋转效果
6，掌握yuv采样规则，实现B画面从上到下滑入覆盖A画面（转场特效）
7，掌握YUV的packed格式和planar格式在内存中的表现形成
8，AAC是什么，AVC是什么
9，什么是比特率，音频常用PCM格式以及他们的内存表现形式
10，深入理解AVFrame,AVPacket，并和理论结合。
11.视频格式转换，音频格式转换。实现一个混音算法。
12，掌握I/B/P帧的特点
13，掌握pts,dts，时间基转换，为什么要有时间基转换

高级篇
1.AVPacket内存管理
2.播放器开发
3.导播台开发
4.ffmepg常用结构体剖析
5，深入了解flv格式，h264协议,rtmp协议
6，实现librtmp+faac+x264直播推流
7，直播容易出现哪些问题，为什么会出现这些问题，怎么优化直播，首屏秒开，丢包策略，怎么解决累计延迟