音视频开发1 学习路线

零 . 参考零声教育关于 音视频的学习知识点如下.

一 基础知识--音频基础知识

1.如何采集声音--模数转换原理

2.为什么高品质音频采样率要 大于等于 44.1KHZ

3.什么是PCM?

4.一个采样点 用多少位表示

5.采样值用整数还是浮点数表示

6.音量大小和采样值的关系

7.多少个采样点作为一帧数据

8.左右通道的采样数据如何排列

9.音频编码原理

二 基础知识--视频基础知识

1.RGB彩色原理

2.YUV

3.像素，分辨率，帧率，码率

4.YUV数据存储格式

5.YUV内存对齐问题

6.画面绿屏

7.H264编码原理

8.H264 I,P,B帧的关系

三 基础知识-- 解复用基础知识

1.什么是解复用？比如mp4格式

2.为什么需要不同的复用格式 mp4/FLV/TS

3.常见的复用格式 mp4/FLV/TS

四 基础知识--FFmpeg环境搭建

1.windows ，Unbutun，MAC

2.QT

3.FFmpeg 命令行环境

4.FFmpeg API环境

5.FFmpeg编译

6.vs2019安装

五 基础知识--音视频开发常用工具

1.mediainfo，用途是分析视频工具

2.VLC播放器，用途是测试播放

3.EasyICE 用途是分析TS流

4.flvAnalyser，用途是分析FLV

5.mp4box，用途是分析mp4

6.audacity，用途是分析音频pcm

7.ELecard_streamEye, 用途是分析H264

8.海康YUVPlayer，分析YUV

六 FFmpeg 实战 -- FFmpeg命令

掌握FFmpeg的目的：快速掌握FFmpeg能做什么？加深对音视频的理解

1.音频pcm/aac文件提取

2.视频yuv/h264文件提取

3.解复用/复用

4.音视频录制

5.视频裁剪和合并

6.图片/视频转换

7.直播推流和拉流

8.水印/画中画/九宫格滤镜

七 FFmpeg 实战 SDL 跨平台多媒体开发库实战

1.SDL环境搭建

2.SDL事件处理

3.SDL线程处理

4.视频YUV画面渲染

5.音频PCM声音输出

八 FFmpeg 实战-FFmpeg 基石精讲

目的：熟悉FFmpeg 常用结构体和函数接口

1.FFmpeg 框架

2.FFmpeg 内存引用计数模型

3.解复用相关AVFormatXXX 等

4.编解码相关 AVCodecXXX 等

5.压缩数据AVPacket

6.未压缩数据AVFrame

7.FFmpeg 面相对象思想

8.packet/Frame数据零拷贝

九 FFmpeg 实战--FFmpeg 音视频解复用+解码

注：FFmpeg API学习--视频解复用--->解码--->编码--->复用合成视频

1.解复用流程

2.音频解码流程

3.视频解码流程

4.FLV封装格式分析

5.MP4封装格式分析

6.FLV和MP4  seek有什么区别

7.为什么FLV格式能用于直播？

8.为什么mp4不能用于直播？

9.MP4能否用来做点播？

10.AAC ADTS分析

11.H264 NALU分析

12. AVIO内存输入模式

13.音频重采样实战

14.重采样后的数据播放时长是否一致

15.音频重采样后PTS如何表示

16.视频解码后YUV内存对齐问题

17.音频解码后PCM排列格式问题

18.硬件解码 dxva2/nvdec/cuvid/qsv

19.硬件gpu数据转移到内存

20.H265解码

十 FFmpeg 实战--FFmpeg 过滤器

filter在视频剪辑领域广泛使用，这一节 将过滤器的框架搞清楚，是重点。

1.FFmpeg 过滤chain框架

2.音频过滤器框架

3.视频过滤器框架

4.多路音频泥音 amix

5.视频水印 watermark

6.视频区域裁剪和翻转

7.视频加logo

十一 FFmpeg 实战--ffplay播放器 源码分析

注：ffplay.c 是 ffplay命令源码。掌握 ffplay.c对于我们开发播放器很有好处

1.掌握ffplay.c

2.ffplay框架分析

3.解复用线程

4.音频解码线程

5.视频解码线程

6.声音输出回调

7.画面渲染时间间隔

8.音频重采样

9.画面尺寸格式变换

10.音频，视频，外部时钟同步区别

11.以视频为基准时，音频重采样补偿

12.音量静音，调节大小的本质

13.音视频packet队列大小限制

14.音视频packet队列线程安全

15.音视频frame队列大小限制

16.音视频frame队列线程安全

17.暂停，播放实现机制

18.seek播放导致的画面卡住问题

19.seek播放数据队列，同步时针处理

20.如何做到逐帧播放

21.播放器退出的流程要点

十二 FFmpeg 实战--ffmpeg多媒体视频处理工具--源码分析

注：ffmpeg.c是ffmpeg命令的源码。掌握ffmpeg.c的大体框架对于我们要实现一些不知道怎么编码实现的一些功能  有参考的功能，因此要要好好看一下，但是这个代码难度比较大，建议结合 baid