1、播放器框架
2、常用音视频术语
• 容器/文件(Conainer/File):即特定格式的多媒体文件, 比如mp4、flv、mkv等。
• 媒体流(Stream):表示时间轴上的一段连续数据,如一 段声音数据、一段视频数据或一段字幕数据,可以是压缩 的,也可以是非压缩的,压缩的数据需要关联特定的编解 码器(有些码流音频他是纯PCM)。
• 数据帧/数据包(Frame/Packet):通常,一个媒体流是 由大量的数据帧组成的,对于压缩数据,帧对应着编解码 器的最小处理单元,分属于不同媒体流的数据帧交错存储 于容器之中。
• 编解码器:编解码器是以帧为单位实现压缩数据和原始数 据之间的相互转换的。
3、常用概念-复用器
4、常用概念-编解码器
5、FFmpeg的整体结构
6、FFMPEG有8个常用库
• AVUtil:核心工具库,下面的许多其他模块都会依赖该库做一些基本的音视频处理操作。
• AVFormat:文件格式和协议库,该模块是最重要的模块之一,封装了Protocol层和Demuxer、Muxer层,使得协议和格式对于开发者来说是透明的。
• AVCodec:编解码库,封装了Codec层,但是有一些Codec是具备自己的License的,FFmpeg是不会默认添加像libx264、FDK-AAC等库的,但是FFmpeg就像一个平台一样,可以将其他的第三方的Codec以插件的方式添加进来,然后为开发者提供统一的接口。
• AVFilter:音视频滤镜库,该模块提供了包括音频特效和视频特效的处理,在使用FFmpeg的API进行编解码的过程中,直接使用该模块为音视频数据做特效处理是非常方便同时也非常高效的一种方式。
• AVDevice:输入输出设备库,比如,需要编译出播放声音或者视频的工具ffplay,就需要确保该模块是打开的,同时也需要SDL的预先编译,因为该设备模块播放声音与播放视频使用的都是SDL库。
• SwrRessample:该模块可用于音频重采样,可以对数字音频进行声道数、数据格式、采样率等多种基本信息的转换。
• SWScale:该模块是将图像进行格式转换的模块,比如,可以将YUV的数据转换为RGB的数据,缩放尺寸由1280720变为800480。
• PostProc:该模块可用于进行后期处理,当我们使用AVFilter的时候需要打开该模块的开关,因为Filter中会使用到该模块的一些基础函数。
7、FFmpeg函数简介
-
av_register_all():注册所有组件,4.0已经弃用
-
avdevice_register_all()对设备进行注册,比如V4L2等。
-
avformat_network_init();初始化网络库以及网络加密协议相关的库(比如openssl)
8、FFmpeg函数简介-封装格式相关
-
avformat_alloc_con